CN117975294A - 一种高清影像下的海洋内波自动识别方法 - Google Patents
一种高清影像下的海洋内波自动识别方法 Download PDFInfo
- Publication number
- CN117975294A CN117975294A CN202410374267.0A CN202410374267A CN117975294A CN 117975294 A CN117975294 A CN 117975294A CN 202410374267 A CN202410374267 A CN 202410374267A CN 117975294 A CN117975294 A CN 117975294A
- Authority
- CN
- China
- Prior art keywords
- module
- target detection
- detection model
- layer
- internal wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 105
- 238000012549 training Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 22
- 238000012795 verification Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 38
- 230000002457 bidirectional effect Effects 0.000 claims description 35
- 230000004927 fusion Effects 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013535 sea water Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003121 nonmonotonic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及海洋监测图像数据处理技术领域,公开了一种高清影像下的海洋内波自动识别方法,包括以下步骤:获取目标海域的卫星遥感图像,得到海洋内波图像数据集;将海洋内波图像数据集进行图像增强处理,将增强处理的海洋内波图像数据集按照比例进行划分,得到增强处理的训练集数据、测试集数据以及验证集数据;将增强处理的训练集数据输入改进的YOLOv8目标检测模型中训练,利用增强处理的测试集数据对训练中的改进的YOLOv8目标检测模型进行测试,得到训练好的改进的YOLOv8目标检测模型;将增强处理的验证集数据输入训练好的改进的YOLOv8目标检测模型识别验证集数据的海洋内波,得到目标海域的卫星遥感图像的海洋内波;该方法提高了海洋内波的识别精度与速度。
Description
技术领域
本发明涉及海洋监测图像数据处理技术领域,具体涉及一种高清影像下的海洋内波自动识别方法。
背景技术
海洋内波是一种特殊的海水波动现象,其发生在密度层化稳定的海水中,最大振幅也位于海表面之下,具有波动剧烈、单向传播、传播速度快等特点,广泛分布于全球各个大洋。目前,随着遥感技术的发展,可见光和SAR遥感影像逐步成为观测海洋内波的主要方法之一。但大部分研究依赖于人工目视解译提取内波,效率低下。
随着深度学习的快速发展,深度学习已经突破了传统目标检测算法的瓶颈成为了主流算法。目前流行的目标检测算法中的以RCNN为代表的二阶目标检测算法,利用选择性搜索方法生成候选区域,然后在候选区域内进行回归分类,具有较高的精度;但是,该算法存在运算速度慢以及计算开销较高的缺点。
发明内容
针对现有技术中的上述不足,本发明提供了一种高清影像下的海洋内波自动识别方法,利用改进的YOLOv8目标检测模型对高清影像下的海洋内波进行识别,以提高海洋内波的识别速度和检测精度。
为了达到上述发明目的,本发明采用的技术方案为:
一种高清影像下的海洋内波自动识别方法,包括以下步骤:
S1、获取目标海域的卫星遥感图像,得到海洋内波图像数据集;
S2、将步骤S1中得到的海洋内波图像数据集进行图像增强处理,并将增强处理的海洋内波图像数据集按照比例进行划分,得到增强处理的训练集数据、测试集数据以及验证集数据;
S3、将步骤S2中增强处理的训练集数据输入改进的YOLOv8目标检测模型中进行训练,并利用步骤S2中增强处理的测试集数据对训练的改进的YOLOv8目标检测模型进行测试,得到训练好的改进的YOLOv8目标检测模型;
S4、将步骤S2中增强处理的验证集数据输入步骤S3中训练好的改进的YOLOv8目标检测模型识别增强处理的验证集数据的海洋内波,得到目标海域的卫星遥感图像的海洋内波。
进一步地,步骤S1具体包括:
S11、访问遥感资源网站,获取目标海域的遥感卫星影像;
S12、将步骤S11中获取的目标海域的遥感卫星影像作为原始数据,利用数据标记软件对赋予标签的原始数据的内波目标区域进行标签标记,得到海洋内波图像数据集。
进一步地,步骤S3中改进的YOLOv8目标检测模型通过引入双向特征金字塔网络对其改进,且改进的YOLOv8目标检测模型具体包括:
依次连接的骨干网络端、颈部网络端与头部网络端,并在颈部网络端引入双向特征金字塔网络结构;骨干网络端包括组合模块、二卷积层跨阶段网络模块以及快速金字塔池化层模块;颈部网络端包括双向特征金字塔网络模块、二卷积层跨阶段网络模块、上采样层以及组合模块;头部网络端包括多个识别模块。
进一步地,所述组合模块包括依次连接的卷积层、批归一化层和激活函数层。
进一步地,所述二卷积层跨阶段网络模块包括依次连接的第一组合模块、分割层、多个沙漏型网络层、拼接层以及第二组合模块。
进一步地,所述双向特征金字塔网络模块通过由上而下、自底向上的多个双向特征金字塔网络的双向通道叠加构成,并将单输入边节点删除,同时在同一层的输入输出节点之间增加连接来改进原有的路径聚合网络。
进一步地,双向特征金字塔网络模块用于对图像特征进行多尺度特征融合,并采用快速归一化方法对融合后的特征进行计算,其计算公式为:
其中,表示第6层中间节点的输出特征,/>表示卷积操作,/>、/>、/>、、/>分别表示区分不同特征重要程度的权重参数,/>表示偏置项,/>表示第6层输入节点的输入特征,/>表示第7层输入节点的输入特征,/>表示第6层输出节点的输出特征,表示第5层输出节点的输出特征,/>表示上采样或下采样操作。
进一步地,识别模块由解耦结构构成,并且解耦结构包括二卷积跨阶段网络模块、分别与二卷积跨阶段网络模块连接的上层模块、下层模块以及分别与上层模块、下层模块连接的预测模块,其中上层模块由依次连接的组合模块、二维卷积层以及框回归损失函数模块构成,下层模块由依次连接的组合模块、二维卷积层以及类别损失函数模块构成。
进一步地,改进的YOLOv8目标检测模型引入WiseIOU损失函数对权重系数进行调整,其计算公式为:
其中,表示WiseIOU损失函数,/>表示WiseIOU的惩罚系数,/>表示用于度量目标检测任务中目标框与锚框的重叠程度,/>、/>分别表示目标检测任务中目标框与锚框的重叠部分的宽度和高度,/>、/>分别表示锚框的宽度和高度,/>、/>分别表示目标框的宽度和高度,/>表示指数函数,/>、/>分别表示锚框的横坐标与纵坐标,/>、分别表示目标框的横坐标与纵坐标,/>、/>分别表示锚框和目标框总和区域的最大宽度和高度。
进一步地,步骤S3具体包括:
S31、将步骤S2中增强处理的训练集数据输入改进的YOLOv8目标检测模型中进行训练;
S32、改进的YOLOv8目标检测模型的骨干网络端对输入的增强处理的训练集数据进行海洋内波特征提取,得到增强处理的训练集数据的多个海洋内波特征;
S33、将步骤S32中增强处理的训练集数据的多个海洋内波特征输入改进的YOLOv8目标检测模型的颈部网络端,通过上采样后利用双向特征金字塔网络模块进行海洋内波特征融合,并通过快速归一化方法对权重进行调整,得到合适的权重参数与融合特征;
S34、将步骤S33中得到的合适的权重参数与融合特征输入改进的YOLOv8目标检测模型的头部网络端进行海洋内波的预测,并引入WiseIOU损失函数对权重系数进行调整,得到改进的YOLOv8目标检测模型的最优权重参数和训练后改进的YOLOv8目标检测模型;
S35、将步骤S2中增强处理的测试集数据输入步骤S34中训练后改进的YOLOv8目标检测模型中采用非极大值抑制方法对其进行检验,去除步骤S34中训练后改进的YOLOv8目标检测模型的目标检测框与锚框中重合度高于设定阈值和置信度得分低于设定阈值的预测框,得到训练好的改进的YOLOv8目标检测模型。
本发明具有以下有益效果:
本发明所提出的一种高清影像下的海洋内波自动识别方法,利用改进的YOLOv8目标检测模型对目标海域的卫星遥感图像进行海洋内波的识别,提高了海洋内波识别速度,同时改进的YOLOv8目标检测模型具有较高的检测精度。
附图说明
图1为本发明所提出的一种高清影像下的海洋内波自动识别方法的流程示意图;
图2为改进的YOLOv8目标检测模型的结构示意图;
图3为双向特征金字塔网络模块的结构示意图;
图4为头部网络端的解耦结构示意图;
图5为WiseIOU损失函数的结构示意图;
图6为实施例中改进的YOLOv8目标检测模型的检测结果指标可视化示意图;
图7为实施例中改进的YOLOv8目标检测模型的检测应用结果示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,一种高清影像下的海洋内波自动识别方法,包括以下步骤S1-S4:
S1、获取目标海域的卫星遥感图像,得到海洋内波图像数据集。
本实施例中,为构建海洋内波图像数据集,可通过访问地理空间数据云、欧空局、美国地调局、谷歌地球等遥感资源网站获取目标海域的卫星遥感图像,并使用数据标记软件进行人工标注,得到可用于改进的YOLOv8目标检测模型的训练数据、验证数据以及测试数据;也可以直接取得公开的海洋内波影像数据集,不作其他处理直接输入改进的YOLOv8目标检测模型进行训练。
具体地,步骤S1具体包括S11-S12:
S11、访问遥感资源网站,获取目标海域的遥感卫星影像。
S12、将步骤S11中获取的目标海域的遥感卫星影像作为原始数据,利用数据标记软件对赋予标签的原始数据的内波目标区域进行标签标记,得到海洋内波图像数据集。
为提高模型的训练效率,本实施例中直接采用其他技术人员已经公开的标准的海洋内波实验数据集对模型进行训练。海洋内波图像数据集包含JPG格式的原始图像数据与TXT格式的YOLO标签数据。
S2、将步骤S1中得到的海洋内波图像数据集进行图像增强处理,并将增强处理的海洋内波图像数据集按照比例进行划分,得到增强处理的训练集数据、测试集数据以及验证集数据。
本实施例中,采用图像翻转、旋转、裁剪、缩放、平移以及抖动等多种图像处理方法对海洋内波图像数据集进行数据增强,以改善后续模型训练效果以及提高模型泛化能力,避免过拟合现象产生。增强处理后得到5658张图像,并将其按照7:2:1的比例划分为训练集、验证集以及测试集。其中,训练集有3444张图像、测试集有1476张图像、验证集有738张图像。最后,利用训练集数据对改进的YOLOv8目标检测模型进行训练,以获得改进的YOLOv8目标检测模型的最优权重。
S3、将步骤S2中增强处理的训练集数据输入改进的YOLOv8目标检测模型中进行训练,并利用步骤S2中增强处理的测试集数据对训练的改进的YOLOv8目标检测模型进行测试,得到训练好的改进的YOLOv8目标检测模型。
如图2所示,图2为改进的YOLOv8目标检测模型的结构示意图;本实施例中,通过引入双向特征金字塔网络(BiFPN)对YOLOv8目标检测模型进行改进,构建改进的YOLOv8目标检测模型。改进的YOLOv8目标检测模型包括的骨干网络端(Backbone)、颈部网络端(Neck)与头部网络端(Head)。其中,骨干网络端用于特征提取,颈部网络端用于特征融合,头部网络端用于预测。图2中,骨干网络端(Backbone)包括组合模块(CBS)、二卷积层跨阶段网络模块(C2F)以及快速金字塔池化层模块(SPPF),其中,组合模块包括依次连接的卷积层(Conv)、批归一化层(BN)和激活函数层(SiLU);颈部网络端包括双向特征金字塔网络模块(BiFPN)、二卷积层跨阶段网络模块、上采样层以及组合模块,其中二卷积层跨阶段网络模块包括依次连接的第一组合模块、分割层(Split)、多个沙漏型网络层(Bottleneck)、拼接层(Concat)以及第二组合模块,第一组合模块与第二组合模块都为组合模块结构,上采样层的作用为进行上采样操作,以便后续特征融合操作;头部网络端包括多个识别模块(Detect),本实施例中头部网络端采用了三个识别模块。此外,结合双向特征金字塔网络结构的颈部网络端进行多尺度特征融合,不仅可以提升改进的YOLOv8目标检测模型对内波目标检测精度,而且能够降低模型复杂度,减少冗余计算。
具体地,步骤S3中改进的YOLOv8目标检测模型通过引入双向特征金字塔网络对其改进,且改进的YOLOv8目标检测模型具体包括:
依次连接的骨干网络端、颈部网络端与头部网络端,并在颈部网络端引入双向特征金字塔网络结构;骨干网络端包括组合模块、二卷积层跨阶段网络模块以及快速金字塔池化层模块;颈部网络端包括双向特征金字塔网络模块、二卷积层跨阶段网络模块、上采样层以及组合模块;头部网络端包括多个识别模块。
具体地,所述组合模块包括依次连接的卷积层、批归一化层和激活函数层。
本实施例中,激活函数层(SiLU)为sigmoid函数和ReLU函数的改进,由于SiLU具备无上界有下界、平滑、非单调的特性且SiLU在深层模型上的效果优于ReLU,可以将SiLU激活函数视为平滑的ReLU激活函数。因此,本实施例在组合模块引入SiLU激活函数。SiLU激活函数的公式为:,其中,/>为标准的sigmoid函数,其值在0和1之间。故在组合模块引入SiLU激活函数可以加速改进的YOLOv8目标检测模型的训练过程,减少该模型的过拟合风险。
具体地,所述二卷积层跨阶段网络模块包括依次连接的第一组合模块、分割层、多个沙漏型网络层、拼接层以及第二组合模块。
如图3所示,图3为双向特征金字塔网络模块的结构示意图;双向特征金字塔网络允许简单和快速的多尺度特征融合,构造由上而下、自底向上的双向通道,并能够为每个节点设置权重,通过权重来平衡不同尺度的特征信息。该双向特征金字塔网络模块通过多个双向特征金字塔网络的基础结构的叠加,最终融合来自改进的YOLOv8目标检测模型的主干网络,通过集成双向跨尺度连接和快速归一的融合,增强特征表示能力。图3中P7、P6、P5、P4、P3分别表示双向特征金字塔网络对应层节点,双向特征金字塔网络模块将单输入边节点删除,并在同一层的输入输出节点之间增加连接来改进原有的路径聚合网络(PANet)。本实施例中的双向特征金字塔网络将单输入边节点删除,对后续特征融合效果的影响效果不大,不仅能够简化双向特征金字塔网络的结构、降低计算量,还能保留原始节点未融合的信息。本实施例中,采用快速归一化方法对双向特征金字塔网络模块的融合特征进行计算,并以第6层节点为例计算第6层节点的融合特征,其计算公式为:、/>,其中,/>表示第6层中间节点的输出特征,/>表示卷积操作,/>、/>、/>、/>、/>分别表示区分不同特征重要程度的权重参数,/>表示偏置项,/>表示第6层输入节点的输入特征,/>表示第7层输入节点的输入特征,/>表示第6层输出节点的输出特征,/>表示第5层输出节点的输出特征,/>表示上采样或下采样操作。
具体地,所述双向特征金字塔网络模块通过由上而下、自底向上的多个双向特征金字塔网络的双向通道叠加构成,并将单输入边节点删除,同时在同一层的输入输出节点之间增加连接来改进原有的路径聚合网络。
具体地,双向特征金字塔网络模块用于对图像特征进行多尺度特征融合,并采用快速归一化方法对融合后的特征进行计算,其计算公式为:
其中,表示第6层中间节点的输出特征,/>表示卷积操作,/>、/>、/>、、/>分别表示区分不同特征重要程度的权重参数,/>表示偏置项,/>表示第6层输入节点的输入特征,/>表示第7层输入节点的输入特征,/>表示第6层输出节点的输出特征,表示第5层输出节点的输出特征,/>表示上采样或下采样操作。
如图4所示,图4为头部网络端的解耦结构示意图;图4中识别模块由解耦结构构成,并且解耦结构包括二卷积跨阶段网络模块(C2F)、分别与二卷积跨阶段网络模块连接的上层模块、下层模块以及分别与上层模块、下层模块连接的预测模块(Predict),其中上层模块由依次连接的组合模块(CBS)、二维卷积层(Conv2d)以及框回归损失函数模块(BboxLoss)构成,下层模块由依次连接的组合模块、二维卷积层以及类别损失函数模块(ClsLoss)构成。其中,头部网络端采用解耦结构同时结合WiseIOU损失函数,WiseIOU通过引入权重系数,将目标的位置和大小信息考虑在内,更准确地衡量了目标检测的性能,能够提高改进的YOLOv8目标检测模型的收敛速度和回归精度,使整个回归过程更加关注高质量锚框。
具体地,识别模块由解耦结构构成,并且解耦结构包括二卷积跨阶段网络模块、分别与二卷积跨阶段网络模块连接的上层模块、下层模块以及分别与上层模块、下层模块连接的预测模块,其中上层模块由依次连接的组合模块、二维卷积层以及框回归损失函数模块构成,下层模块由依次连接的组合模块、二维卷积层以及类别损失函数模块构成。
如图5所示,图5为WiseIOU损失函数的结构示意图;改进的YOLOv8目标检测模型在训练过程中采用的损失函数为WiseIOU,具体过程为:假设锚框为,目标框为,其中,/>分别表示锚框的横纵坐标以及宽度和高度,分别表示目标框的横纵坐标以及宽度和高度,/>用于度量目标检测任务中目标框与锚框的重叠程度,并根据距离度量构建距离注意力,得到注意力机制。此外,WiseIOU通过引入置信度信息,能够更加准确的评估目标框与真实框之间的匹配程度和定位精度,在一些特定场景下能够显著提高模型的性能。因此,本实施例中所构建的改进的YOLOv8目标检测模型,具有良好的检测能力和鲁棒性能。
具体地,改进的YOLOv8目标检测模型引入WiseIOU损失函数对权重系数进行调整,其计算公式为:
其中,表示WiseIOU损失函数,/>表示WiseIOU的惩罚系数,/>表示用于度量目标检测任务中目标框与锚框的重叠程度,/>、/>分别表示目标检测任务中目标框与锚框的重叠部分的宽度和高度,/>、/>分别表示锚框的宽度和高度,/>、/>分别表示目标框的宽度和高度,/>表示指数函数,/>、/>分别表示锚框的横坐标与纵坐标,/>、分别表示目标框的横坐标与纵坐标,/>、/>分别表示锚框和目标框总和区域的最大宽度和高度。
本实施例中,,/>。此外,改进的YOLOv8目标检测模型在训练的过程中设置训练轮数为300轮,批量大小为16,起始学习率为/>。其中,采用非极大值抑制方法对训练后改进的YOLOv8目标检测模型进行检验,并去除训练后改进的YOLOv8目标检测模型的目标检测框与锚框中重合度高于设定阈值和置信度得分低于设定阈值的预测框,此处重合度设定阈值为0.3,置信度设定阈值为0.5。
具体地,步骤S3具体包括S31-S35:
S31、将步骤S2中增强处理的训练集数据输入改进的YOLOv8目标检测模型中进行训练。
S32、改进的YOLOv8目标检测模型的骨干网络端对输入的增强处理的训练集数据进行海洋内波特征提取,得到增强处理的训练集数据的多个海洋内波特征。
S33、将步骤S32中增强处理的训练集数据的多个海洋内波特征输入改进的YOLOv8目标检测模型的颈部网络端,通过上采样后利用双向特征金字塔网络模块进行海洋内波特征融合,并通过快速归一化方法对权重进行调整,得到合适的权重参数与融合特征。
S34、将步骤S33中得到的合适的权重参数与融合特征输入改进的YOLOv8目标检测模型的头部网络端进行海洋内波的预测,并引入WiseIOU损失函数对权重系数进行调整,得到改进的YOLOv8目标检测模型的最优权重参数和训练后改进的YOLOv8目标检测模型。
S35、将步骤S2中增强处理的测试集数据输入步骤S34中训练后改进的YOLOv8目标检测模型中采用非极大值抑制方法对其进行检验,去除步骤S34中训练后改进的YOLOv8目标检测模型的目标检测框与锚框中重合度高于设定阈值和置信度得分低于设定阈值的预测框,得到训练好的改进的YOLOv8目标检测模。
S4、将步骤S2中增强处理的验证集数据输入步骤S3中训练好的改进的YOLOv8目标检测模型识别增强处理的验证集数据的海洋内波,得到目标海域的卫星遥感图像的海洋内波。
本实施例中,在CPU为Intel Core i5-12400F、主频为2.50GHz、GPU为NvidiaGeForceRTX3060、CUDA11.3、cudnn8.2.1、Python3.8、Windows10操作系统的软硬件环境下进行实验。目标检测算法的主要评价指标有检测精度和模型复杂度两类。其中,检测精度主要由模型的准确率P(Precision)、召回率R(Recall)和平均准确率mAP(mean AveragePrecision)体现,本实施例中应用平均精度均值评价本发明所提出的改进的YOLOv8目标检测模型。其定义如下:
假设预测结果为真的正负样本个数分别为TP和FP,预测结果为非真的正样本个数为FN,则可以分别得到准确率P、召回率R、平均准确率mAP的计算公式,即:、/>、/>以及/>,/>表示感兴趣类别数量,当/>时,/>。
如图6所示,图6为改进的YOLOv8目标检测模型的检测结果指标可视化示意图;图6中训练集/框损失、验证集/框损失、训练集/分类损失、验证集/分类损失、训练集/分布聚焦损失、验证集/分布聚焦损失为损失函数图,展示了模型损失值在训练300轮后收敛,趋于稳定,表明模型训练成功;评价指标/精确率、评价指标/平均精度(阈值0.5)、评价指标/召回率、评价指标/平均精度(阈值0.5-0.95)为评测指标图,展示了模型的性能。其精准率、召回率与平均精度指标最后均保持在0.9以上,表明模型在样本上具有较良好的识别能力。
如图7所示,图7为改进的YOLOv8目标检测模型的检测应用结果示意图;其中IW为Internal Wave的缩写,表明模型已识别到该区域内波,后接小数表示判断的置信度,数字越接近1.0表明越为可信。
本实施例中,图6与图7所示的实验结果表明,其中113张测试图片的平均准确率值达到90%以上,验证了利用本发明所提出的改进的YOLOv8目标检测模型能够检测海洋内波,并能够改善内波识别效果,提升海洋监测能力。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (10)
1.一种高清影像下的海洋内波自动识别方法,其特征在于,包括以下步骤:
S1、获取目标海域的卫星遥感图像,得到海洋内波图像数据集;
S2、将步骤S1中得到的海洋内波图像数据集进行图像增强处理,并将增强处理的海洋内波图像数据集按照比例进行划分,得到增强处理的训练集数据、测试集数据以及验证集数据;
S3、将步骤S2中增强处理的训练集数据输入改进的YOLOv8目标检测模型中进行训练,并利用步骤S2中增强处理的测试集数据对训练的改进的YOLOv8目标检测模型进行测试,得到训练好的改进的YOLOv8目标检测模型;
S4、将步骤S2中增强处理的验证集数据输入步骤S3中训练好的改进的YOLOv8目标检测模型识别增强处理的验证集数据的海洋内波,得到目标海域的卫星遥感图像的海洋内波。
2.根据权利要求1所述的一种高清影像下的海洋内波自动识别方法,其特征在于,步骤S1具体包括:
S11、访问遥感资源网站,获取目标海域的遥感卫星影像;
S12、将步骤S11中获取的目标海域的遥感卫星影像作为原始数据,利用数据标记软件对赋予标签的原始数据的内波目标区域进行标签标记,得到海洋内波图像数据集。
3.根据权利要求1所述的一种高清影像下的海洋内波自动识别方法,其特征在于,步骤S3中改进的YOLOv8目标检测模型通过引入双向特征金字塔网络对其改进,且改进的YOLOv8目标检测模型具体包括:
依次连接的骨干网络端、颈部网络端与头部网络端,并在颈部网络端引入双向特征金字塔网络结构;骨干网络端包括组合模块、二卷积层跨阶段网络模块以及快速金字塔池化层模块;颈部网络端包括双向特征金字塔网络模块、二卷积层跨阶段网络模块、上采样层以及组合模块;头部网络端包括多个识别模块。
4.根据权利要求3所述的一种高清影像下的海洋内波自动识别方法,其特征在于,所述组合模块包括依次连接的卷积层、批归一化层和激活函数层。
5.根据权利要求3所述的一种高清影像下的海洋内波自动识别方法,其特征在于,所述二卷积层跨阶段网络模块包括依次连接的第一组合模块、分割层、多个沙漏型网络层、拼接层以及第二组合模块。
6.根据权利要求3所述的一种高清影像下的海洋内波自动识别方法,其特征在于,所述双向特征金字塔网络模块通过由上而下、自底向上的多个双向特征金字塔网络的双向通道叠加构成,并将单输入边节点删除,同时在同一层的输入输出节点之间增加连接来改进原有的路径聚合网络。
7.根据权利要求6所述的一种高清影像下的海洋内波自动识别方法,其特征在于,双向特征金字塔网络模块用于对图像特征进行多尺度特征融合,并采用快速归一化方法对融合后的特征进行计算,其计算公式为:
其中,表示第6层中间节点的输出特征,/>表示卷积操作,/>、/>、/>、/>、分别表示区分不同特征重要程度的权重参数,/>表示偏置项,/>表示第6层输入节点的输入特征,/>表示第7层输入节点的输入特征,/>表示第6层输出节点的输出特征,/>表示第5层输出节点的输出特征,/>表示上采样或下采样操作。
8.根据权利要求3所述的一种高清影像下的海洋内波自动识别方法,其特征在于,识别模块由解耦结构构成,并且解耦结构包括二卷积跨阶段网络模块、分别与二卷积跨阶段网络模块连接的上层模块、下层模块以及分别与上层模块、下层模块连接的预测模块,其中上层模块由依次连接的组合模块、二维卷积层以及框回归损失函数模块构成,下层模块由依次连接的组合模块、二维卷积层以及类别损失函数模块构成。
9.根据权利要求8所述的一种高清影像下的海洋内波自动识别方法,其特征在于,改进的YOLOv8目标检测模型引入WiseIOU损失函数对权重系数进行调整,其计算公式为:
其中,表示WiseIOU损失函数,/>表示WiseIOU的惩罚系数,/>表示用于度量目标检测任务中目标框与锚框的重叠程度,/>、/>分别表示目标检测任务中目标框与锚框的重叠部分的宽度和高度,/>、/>分别表示锚框的宽度和高度,/>、/>分别表示目标框的宽度和高度,/>表示指数函数,/>、/>分别表示锚框的横坐标与纵坐标,/>、/>分别表示目标框的横坐标与纵坐标,/>、/>分别表示锚框和目标框总和区域的最大宽度和高度。
10.根据权利要求3所述的一种高清影像下的海洋内波自动识别方法,其特征在于,步骤S3具体包括:
S31、将步骤S2中增强处理的训练集数据输入改进的YOLOv8目标检测模型中进行训练;
S32、改进的YOLOv8目标检测模型的骨干网络端对输入的增强处理的训练集数据进行海洋内波特征提取,得到增强处理的训练集数据的多个海洋内波特征;
S33、将步骤S32中增强处理的训练集数据的多个海洋内波特征输入改进的YOLOv8目标检测模型的颈部网络端,通过上采样后利用双向特征金字塔网络模块进行海洋内波特征融合,并通过快速归一化方法对权重进行调整,得到合适的权重参数与融合特征;
S34、将步骤S33中得到的合适的权重参数与融合特征输入改进的YOLOv8目标检测模型的头部网络端进行海洋内波的预测,并引入WiseIOU损失函数对权重系数进行调整,得到改进的YOLOv8目标检测模型的最优权重参数和训练后改进的YOLOv8目标检测模型;
S35、将步骤S2中增强处理的测试集数据输入步骤S34中训练后改进的YOLOv8目标检测模型中采用非极大值抑制方法对其进行检验,去除步骤S34中训练后改进的YOLOv8目标检测模型的目标检测框与锚框中重合度高于设定阈值和置信度得分低于设定阈值的预测框,得到训练好的改进的YOLOv8目标检测模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410374267.0A CN117975294A (zh) | 2024-03-29 | 2024-03-29 | 一种高清影像下的海洋内波自动识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410374267.0A CN117975294A (zh) | 2024-03-29 | 2024-03-29 | 一种高清影像下的海洋内波自动识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117975294A true CN117975294A (zh) | 2024-05-03 |
Family
ID=90863549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410374267.0A Pending CN117975294A (zh) | 2024-03-29 | 2024-03-29 | 一种高清影像下的海洋内波自动识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117975294A (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949632A (zh) * | 2021-03-05 | 2021-06-11 | 哈尔滨工程大学 | 一种珊瑚礁白化自动识别方法及系统 |
CN116229380A (zh) * | 2023-05-10 | 2023-06-06 | 国网江西省电力有限公司电力科学研究院 | 一种变电站涉鸟故障相关鸟种识别方法 |
CN116758376A (zh) * | 2023-07-06 | 2023-09-15 | 北京理工大学 | 一种x光危险物的检测方法 |
CN116883801A (zh) * | 2023-07-20 | 2023-10-13 | 华北电力大学(保定) | 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法 |
CN117173568A (zh) * | 2023-09-05 | 2023-12-05 | 北京观微科技有限公司 | 目标检测模型训练方法和目标检测方法 |
CN117351409A (zh) * | 2023-08-31 | 2024-01-05 | 三峡大学 | 混凝土坝面作业风险智能识别方法 |
CN117576038A (zh) * | 2023-11-21 | 2024-02-20 | 浙江理工大学 | 基于YOLOv8网络的织物瑕疵检测方法及系统 |
-
2024
- 2024-03-29 CN CN202410374267.0A patent/CN117975294A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112949632A (zh) * | 2021-03-05 | 2021-06-11 | 哈尔滨工程大学 | 一种珊瑚礁白化自动识别方法及系统 |
CN116229380A (zh) * | 2023-05-10 | 2023-06-06 | 国网江西省电力有限公司电力科学研究院 | 一种变电站涉鸟故障相关鸟种识别方法 |
CN116758376A (zh) * | 2023-07-06 | 2023-09-15 | 北京理工大学 | 一种x光危险物的检测方法 |
CN116883801A (zh) * | 2023-07-20 | 2023-10-13 | 华北电力大学(保定) | 基于注意力机制与多尺度特征融合的YOLOv8目标检测方法 |
CN117351409A (zh) * | 2023-08-31 | 2024-01-05 | 三峡大学 | 混凝土坝面作业风险智能识别方法 |
CN117173568A (zh) * | 2023-09-05 | 2023-12-05 | 北京观微科技有限公司 | 目标检测模型训练方法和目标检测方法 |
CN117576038A (zh) * | 2023-11-21 | 2024-02-20 | 浙江理工大学 | 基于YOLOv8网络的织物瑕疵检测方法及系统 |
Non-Patent Citations (8)
Title |
---|
DARKREDROCK: "yolov8改进-添加Wise-IoU,soft-nms", Retrieved from the Internet <URL:https://blog.csdn.net/darkredrock/article/details/130292080> * |
GITHUBCURRY: "YOLOv8原理深度解读, 超级详细", Retrieved from the Internet <URL:https://blog.csdn.net/weixin_45277161/article/details/134981882> * |
MAWB: "YOLOv8终极指南", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/649999384--YOLOv8 支持开箱即用的对象检测、实例分割和图像分类。> * |
PIOTR SKALSKI: "How to Train YOLOv8 Object Detection on a Custom Dataset", pages 6, Retrieved from the Internet <URL:https://blog.roboflow.com/how-to-train-yolov8-on-a-custom-dataset/> * |
UKSAPPS: "YOLOv8改进损失函数Wise-IoU:提升目标检测性能的新损失函数", Retrieved from the Internet <URL:https://blog.csdn.net/UksApps/article/details/132887462> * |
ZANJIA TONG: "Wise-IoU: Bounding Box Regression Loss with Dynamic Focusing Mechanism", 《COMPUTER VISION AND PATTERN RECOGNITION (CS.CV)》, 8 April 2023 (2023-04-08), pages 1 - 8 * |
大盘鸡拌面: "Yolov8自带IOU方法对接(WIoU,α-IoU,SIoU,EIoU)", Retrieved from the Internet <URL:https://cloud.tencent.com/developer/article/2361952> * |
谢竞: "改进YOLOv8s的交通标识检测算法", 《计算机工程》, 19 March 2024 (2024-03-19), pages 4 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259940B (zh) | 一种基于空间注意力地图的目标检测方法 | |
CN111680706A (zh) | 一种基于编码和解码结构的双通道输出轮廓检测方法 | |
CN110555841B (zh) | 基于自注意图像融合和dec的sar图像变化检测方法 | |
CN110852243B (zh) | 一种基于改进YOLOv3的道路交叉口检测方法及装置 | |
CN113487600B (zh) | 一种特征增强尺度自适应感知船舶检测方法 | |
Fan et al. | A novel sonar target detection and classification algorithm | |
CN115564766A (zh) | 水轮机蜗壳座环的制备方法及其系统 | |
CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
CN113570540A (zh) | 一种基于检测-分割架构的图像篡改盲取证方法 | |
CN112037225A (zh) | 一种基于卷积神经的海洋船舶图像分割方法 | |
CN116189139A (zh) | 一种基于Transformer的交通标志检测方法 | |
CN117523394A (zh) | 一种基于聚合特征增强网络的sar船舰检测方法 | |
CN116311323A (zh) | 基于对比学习的预训练文档模型对齐优化方法 | |
CN115375925A (zh) | 一种基于相位信息和深度学习的水下声呐图像匹配算法 | |
CN114492755A (zh) | 基于知识蒸馏的目标检测模型压缩方法 | |
CN117011231A (zh) | 一种基于改进YOLOv5的带钢表面缺陷检测方法及系统 | |
CN117975294A (zh) | 一种高清影像下的海洋内波自动识别方法 | |
CN116543295A (zh) | 一种基于退化图像增强的轻量化水下目标检测方法及系统 | |
CN115862119A (zh) | 基于注意力机制的人脸年龄估计方法及装置 | |
CN115656952A (zh) | 一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法 | |
CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 | |
CN109753896A (zh) | 一种基于共性自动编码器的无监督异源遥感图像变化检测方法 | |
CN114782983A (zh) | 基于改进特征金字塔和边界损失的道路场景行人检测方法 | |
Lei et al. | Multi-feature fusion sonar image target detection evaluation based on particle swarm optimization algorithm | |
CN112906626A (zh) | 一种基于人工智能断层识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |