CN114782982A - 一种基于深度学习的海洋生物智能检测方法 - Google Patents

一种基于深度学习的海洋生物智能检测方法 Download PDF

Info

Publication number
CN114782982A
CN114782982A CN202210230186.4A CN202210230186A CN114782982A CN 114782982 A CN114782982 A CN 114782982A CN 202210230186 A CN202210230186 A CN 202210230186A CN 114782982 A CN114782982 A CN 114782982A
Authority
CN
China
Prior art keywords
attention
training
marine organism
network
parallel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210230186.4A
Other languages
English (en)
Inventor
毛国君
廖观奕
朱恒亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian University of Technology
Original Assignee
Fujian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian University of Technology filed Critical Fujian University of Technology
Priority to CN202210230186.4A priority Critical patent/CN114782982A/zh
Publication of CN114782982A publication Critical patent/CN114782982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于深度学习的海洋生物智能检测方法，包括以下步骤；步骤S1、海洋生物图像预处理；步骤S2、构建并行注意力YoloV4目标检测网络，所述并行注意力分别为空间域注意力和通道域注意力；所述YoloV4目标检测网络为嵌入并行注意力机制的并行注意力YoloV4目标检测网络；步骤S3、训练并行注意力YoloV4目标检测网络：对并行注意力YoloV4目标检测网络进行预训练，得到预训练模型；利用Mosaic数据增强方法随机把多幅图片拼接为一张图片来生成新的训练数据集，对所得到的预训练模型进行训练；步骤S4、重新训练并行注意力YoloV4目标检测网络，对测试集中图像进行检测；本发明能用于准确且快速检测出复杂海洋环境下的海洋生物，为水下机器人的捕捞做出技术支撑。

Description

一种基于深度学习的海洋生物智能检测方法
技术领域
本发明涉及深度学习及海洋海洋生物养殖及捕捞技术领域，尤其是一种基于深度学习的海洋生物智能检测方法。
背景技术
海洋所蕴藏的丰富资源是社会发展的重要依托，随着海洋养殖业蓬勃发展，传统的捕捞作业暴露出了许多显而易见的问题。例如耗时较长、人工作业安全系数较低、培养工作人员时间周期较长等缺点。这些缺点无不制约着捕捞行业的进一步发展。近年来随着信息化的浪潮，水下机器人技术的逐步成熟和应用，目标检测也被应用于水下机器人捕捞作业中。但是相应的，水下机器人应用在水下的实际复杂环境时，同样也面临着许多问题。诸如水下光线较暗，海洋生物易受泥沙遮挡、分布不均匀等问题。因此为了克服上述困难，设计一种可靠的目标检测算法具有重要意义。
在海洋生物检测领域中，图像识别的应用可分为两个大类：一是以传统的目标检测方法一般是由图像特征提取和特征学习两个相对独立的过程来完成。二是深度学习的方法。相较于深度学习的方法，传统的目标检测方法不仅费时费力，并且大部分仅限于较为特定的物种，缺乏一定的通用性。随着深度学习的发展，将深度学习的方法应用于水下目标检测是当今水下生物识别的热门方向。当前，将深度学习应用于海洋生物识别的研究领域中，大多数方法集中于图像的预处理，却忽视了部署到实际的水下机器人有关于参数量的要求，必须在提升精度的同时保证参数量的开销较小，才能做到及时的识别与处理。
发明内容
本发明提出一种基于深度学习的海洋生物智能检测方法，能用于准确且快速检测出复杂海洋环境下的海洋生物，为水下机器人的捕捞做出技术支撑。
一种基于深度学习的海洋生物智能检测方法，包括以下步骤；
步骤S1、海洋生物图像预处理，具体为：针对海洋生物图像，采用RGHS算法对水下所拍摄的图像进行数据增强，生成数据增强后的海洋生物图像；运用LabelImg工具标注出每一幅图像中的海洋生物的位置和类别，并按照预设比例划分为训练集、验证集和测试集；
步骤S2、构建并行注意力YoloV4目标检测网络，所述并行注意力分别为空间域注意力和通道域注意力；所述YoloV4目标检测网络为嵌入并行注意力机制的并行注意力YoloV4目标检测网络；
步骤S3、训练并行注意力YoloV4目标检测网络：利用大型网络公开数据集ImageNet对并行注意力YoloV4目标检测网络进行预训练，得到预训练模型；利用Mosaic数据增强方法随机把海洋生物图像训练集中的多幅图片拼接为一张图片来生成新的训练数据集，对所得到的预训练模型进行训练；
步骤S4、重新训练并行注意力YoloV4目标检测网络，利用重新训练后所得到的并行注意力YoloV4 目标检测网络对测试集中图像进行检测。
步骤S1中按照9:1的比例将海洋生物图像数据集划分为训练集、验证集和测试集，将训练集和验证集一起加入训练，并在训练的过程中将训练验证集按9:1划分参与训练。
所述并行注意力YoloV4目标检测网络结构包括四个部分，第一部分为CSPDarkNet53主干特征提取网络；第二部分为SPP+PANet，即空间金字塔池化网络和路径聚合网络；第三部分为并行注意力机制部分；第四部分是YoloHead用获取到的特征进行预测。
所述方法中，空间金字塔池化网络即空间金字塔池化层SPP，掺杂在CSPDarkNet53最后一个卷积层中，分别利用四个不同尺度的最大池化Maxpool进行处理；最大池化的池化核大小分别为13×13、 9×9、5×5、1×1；其中1×1即无处理，用于极大地增加感受野及分离出最为显著的上下文信息；
路径聚合网络PANet用于实现对特征的反复提取，实现特征融合从浅到深和从深到浅的过程；其具体操作为：步骤S4中，通过CSPDarkNet53分别提取出浅层特征、中层特征、深层特征P1、P2、 P3；利用SPP网络中四种不同大小池化核的最大池化层提取出P3中较为显著的特征，之后同时利用五次卷积、上采样、下采样将深层特征P3与中层特征P2、浅层特征P1进行特征融合；
通过SPP与PANet所获得的P1、P2、P3在经过并行注意力机制后分别对应YoloHead预测网络中13×13×18、26×26×18、52×52×18三种不同尺寸的预测结果，实现对大、中、小海洋生物目标的检测。
所述方法在PANet和YoloHead中间部分引入并行注意力机制，具体为卷积后获得的特征基础上，利用空间域注意力和通道域注意力提取其权重系数，并与原始特征相乘。
步骤S3中，利用Mosaic数据增强方法随机把海洋生物图像训练集中的四幅图片拼接为一张图片来生成新的训练数据集，对所得到的预训练模型进行重新训练；
重新训练时，训练中设置batchsize为8、学习率为1×10-3、最大迭代次数为100；每一轮训练结束后采用验证集对并行注意力机制YoloV4目标检测网络训练效果进行评价；验证过程中采用标签平滑方法来降低少量错误标签对并行注意力YoloV4目标检测网络整体性能的影响。
步骤S4中，经过PANet和并行注意力机制后的融合特征将会输入YoloHead中，通过三种不同的尺度检测得到测试集图像中的海洋生物目标类别、置信度、位置。
所述海洋生物图像的图像背景为水体。
所述检测方法用于对复杂海洋环境中的海洋生物进行快速检测；
当含海洋生物的图像完成检测之后，若海洋生物目标周围有着大量的预测框，则再利用非极大值抑制进行筛选，得到置信度最优的检测框作为最后的预测框。
并行注意力机制分为两个部分，一部分为空间域注意力，另一部分是通道域注意力，空间域注意力分别执行最大池化操作和平均池化操作，生成两个特征图；随后将这两个特征图相结合，生成结合后的权重图F1，再将权重图F1经过一个7×7卷积重新提取特征，得到一个新的权重图F2，再将F2与特征图相结合，得到空间域特征图FS；有空间域注意力计算公式为：
Figure RE-GDA0003697849280000031
通道域注意力包括逐点卷积、空间金字塔池化结构和多层感知部分，逐点卷积包括一个1X1的卷积层、一个BN层和一个Relu激活函数；所述BN层为批量归一化层BatchNormalization；
空间金字塔池化结构包含三层不同大小的自适应平均池化层；
多层感知部分用于在空间金字塔的输出中学习特征图；
有通道域注意力计算过程如下：
假设输入的特征图有C个通道，而与此同时每一个通道的大小分别为HⅹW，假设CNN包含L 层，xl表示l∈[1,L]层的输出，自适应池化层与全连接层分别采用P(·，·),Ffc(·),C(·)表示堆叠操作，σ(·)表示sigmoid激活函数，R(·)表示Resize函数。对于给定的特征图xl∈RC×H×W,基于卷积神经网络模型的注意力机制可以从该输入学习权值并与其相乘从而得到输出的对应的权重值。因此，该注意力机制的输出可以表示为：
S(xl)＝C(R(P(xl,4),R(P(xl,2)),R(P(xl,1)))
对于上述的输出，注意力机制还做了以下的变换：
Γ(xl)＝σ(Ffc(Ffc(S(xl))))
公式在展现注意力机制模块计算的方式时，省略了批量归一化层、激活层以及逐点卷积，采用简化方式来表示该注意力模块的核心变化过程。
本发明针对水下图像光线不足，易受泥沙覆盖、水下拍摄图像清晰度不足等问题，设计了一种并行注意力机制，用以提高检测的准确性；将并行注意力嵌入到YoloV4目标检测网络中；训练并行注意力YoloV4目标检测模型，最后利用得到的并行注意力YoloV4目标检测模型对测试集图像进行检测；能够在复杂的水下中快速准确地检测中海洋生物的位置并且可以实现对海洋生物实现计数功能，具有较高的海洋生物检测精度与检测速度。
本发明能用于准确且快速检测出复杂海洋环境下的海洋生物，为水下机器人的捕捞做出技术支撑。
本发明可满足部署到实际工作的水下机器人有关于参数量的要求，可在提升精度的同时保证参数量的开销较小，使机器人做到及时的识别与处理。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明：
附图1是本发明实施时的流程示意图。
具体实施方式
如图所示，一种基于深度学习的海洋生物智能检测方法，包括以下步骤；
步骤S1、海洋生物图像预处理，具体为：针对海洋生物图像，采用RGHS算法对水下所拍摄的图像进行数据增强，生成数据增强后的海洋生物图像；运用LabelImg工具标注出每一幅图像中的海洋生物的位置和类别，并按照预设比例划分为训练集、验证集和测试集；
步骤S2、构建并行注意力YoloV4目标检测网络，所述并行注意力分别为空间域注意力和通道域注意力；所述YoloV4目标检测网络为嵌入并行注意力机制的并行注意力YoloV4目标检测网络；
步骤S3、训练并行注意力YoloV4目标检测网络：利用大型网络公开数据集ImageNet对并行注意力YoloV4目标检测网络进行预训练，得到预训练模型；利用Mosaic数据增强方法随机把海洋生物图像训练集中的多幅图片拼接为一张图片来生成新的训练数据集，对所得到的预训练模型进行训练；
步骤S4、重新训练并行注意力YoloV4目标检测网络，利用重新训练后所得到的并行注意力YoloV4 目标检测网络对测试集中图像进行检测。
步骤S1中按照9:1的比例将海洋生物图像数据集划分为训练集、验证集和测试集，将训练集和验证集一起加入训练，并在训练的过程中将训练验证集按9:1划分参与训练。
所述并行注意力YoloV4目标检测网络结构包括四个部分，第一部分为CSPDarkNet53主干特征提取网络；第二部分为SPP+PANet，即空间金字塔池化网络和路径聚合网络；第三部分为并行注意力机制部分；第四部分是YoloHead用获取到的特征进行预测。
所述方法中，空间金字塔池化网络即空间金字塔池化层SPP，掺杂在CSPDarkNet53最后一个卷积层中，分别利用四个不同尺度的最大池化Maxpool进行处理；最大池化的池化核大小分别为13×13、 9×9、5×5、1×1；其中1×1即无处理，用于极大地增加感受野及分离出最为显著的上下文信息；
路径聚合网络PANet用于实现对特征的反复提取，实现特征融合从浅到深和从深到浅的过程；其具体操作为：步骤S4中，通过CSPDarkNet53分别提取出浅层特征、中层特征、深层特征P1、P2、 P3；利用SPP网络中四种不同大小池化核的最大池化层提取出P3中较为显著的特征，之后同时利用五次卷积、上采样、下采样将深层特征P3与中层特征P2、浅层特征P1进行特征融合；
通过SPP与PANet所获得的P1、P2、P3在经过并行注意力机制后分别对应YoloHead预测网络中13×13×18、26×26×18、52×52×18三种不同尺寸的预测结果，实现对大、中、小海洋生物目标的检测。
所述方法在PANet和YoloHead中间部分引入并行注意力机制，具体为卷积后获得的特征基础上，利用空间域注意力和通道域注意力提取其权重系数，并与原始特征相乘。
步骤S3中，利用Mosaic数据增强方法随机把海洋生物图像训练集中的四幅图片拼接为一张图片来生成新的训练数据集，对所得到的预训练模型进行重新训练；
重新训练时，训练中设置batchsize为8、学习率为1×10-3、最大迭代次数为100；每一轮训练结束后采用验证集对并行注意力机制YoloV4目标检测网络训练效果进行评价；验证过程中采用标签平滑方法来降低少量错误标签对并行注意力YoloV4目标检测网络整体性能的影响。
步骤S4中，经过PANet和并行注意力机制后的融合特征将会输入YoloHead中，通过三种不同的尺度检测得到测试集图像中的海洋生物目标类别、置信度、位置。
所述海洋生物图像的图像背景为水体。
所述检测方法用于对复杂海洋环境中的海洋生物进行快速检测；
当含海洋生物的图像完成检测之后，若海洋生物目标周围有着大量的预测框，则再利用非极大值抑制进行筛选，得到置信度最优的检测框作为最后的预测框。
并行注意力机制分为两个部分，一部分为空间域注意力，另一部分是通道域注意力，空间域注意力分别执行最大池化操作和平均池化操作，生成两个特征图；随后将这两个特征图相结合，生成结合后的权重图F1，再将权重图F1经过一个7×7卷积重新提取特征，得到一个新的权重图F2，再将F2与特征图相结合，得到空间域特征图FS；有空间域注意力计算公式为：
Figure RE-GDA0003697849280000051
通道域注意力包括逐点卷积、空间金字塔池化结构和多层感知部分，逐点卷积包括一个1X1的卷积层、一个BN层和一个Relu激活函数；所述BN层为批量归一化层BatchNormalization；
空间金字塔池化结构包含三层不同大小的自适应平均池化层；
多层感知部分用于在空间金字塔的输出中学习特征图；
有通道域注意力计算过程如下：
假设输入的特征图有C个通道，而与此同时每一个通道的大小分别为HⅹW，假设CNN包含L 层，xl表示l∈[1,L]层的输出，自适应池化层与全连接层分别采用P(·，·),Ffc(·),C(·)表示堆叠操作，σ(·)表示sigmoid激活函数，R(·)表示Resize函数。对于给定的特征图xl∈RC×H×W,基于卷积神经网络模型的注意力机制可以从该输入学习权值并与其相乘从而得到输出的对应的权重值。因此，该注意力机制的输出可以表示为：
S(xl)＝C(R(P(xl,4),R(P(xl,2)),R(P(xl,1)))
对于上述的输出，注意力机制还做了以下的变换：
Γ(xl)＝σ(Ffc(Ffc(S(xl))))
公式在展现注意力机制模块计算的方式时，省略了批量归一化层、激活层以及逐点卷积，采用简化方式来表示该注意力模块的核心变化过程。
本实施例的步骤S1中，采用水下拍摄的海洋生物图像，包括3442张图像，其中包括海胆、海星、海参和扇贝四个物种。
由于水下图像采集较为困难，因此针对样本不足和图像质量较差等问题，本例采用RGHS算法对图像进行增强并扩充数据集，扩充后的数据集达到6884张图片；运用LabelImg工具标注出每一幅海洋生物图像的位置与类别，包括海胆、海星、海参和扇贝四个物种，并定义为echinus、starfish、 holothurian和scallop，自动生成.xml文件；通过转换算法将.xml格式文件转换为PASALVOC格式的.txt 文件，供下一步聚类分析和模型训练时调取数据。将海洋生物数据集按照9:1的比例划分为训练验证集和测试集，并且在训练验证集中按照9:1的比例将训练验证集划分成为训练集和验证集，因此，本实例中训练集包括5576张图片，验证集包括620张图片，测试集包括688张图片。
本实施例中通过CSPDarkNet53分别提取出浅层特征、中层特征、深层特征P1、P2、P3；利用 SPP网络中13×13、9×9、5×5(1×1即无处理)四种不同大小池化核的最大池化层提取出P3中较为显著的特征，之后同时利用五次卷积、上采样、下采样将深层特征P3与中层特征P2、浅层特征P1进行特征融合。再将融合后的特征送入并行注意力机制中，得到重新分配权重后的特征图P1、P2、P3；最后将重新分配特征权重的三个特征图分别输入YoloHead预测网络中，通过三种尺度检测得到测试集图像中的海洋生物目标类别、置信度和位置；而海洋生物图像完成加测之后，目标周围有着大量的预测框，再利用非极大值抑制进行筛选，得到置信度最优的检测框作为最后的预测框。
本例中，RGHS算法为改进全局直方图拉伸算法。

Claims (9)

1.一种基于深度学习的海洋生物智能检测方法，其特征在于：包括以下步骤；
步骤S1、海洋生物图像预处理，具体为：针对海洋生物图像，采用RGHS算法对水下所拍摄的图像进行数据增强，生成数据增强后的海洋生物图像；运用LabelImg工具标注出每一幅图像中的海洋生物的位置和类别，并按照预设比例划分为训练集、验证集和测试集；
步骤S2、构建并行注意力YoloV4目标检测网络，所述并行注意力分别为空间域注意力和通道域注意力；所述YoloV4目标检测网络为嵌入并行注意力机制的并行注意力YoloV4目标检测网络；
步骤S3、训练并行注意力YoloV4目标检测网络：利用大型网络公开数据集ImageNet对并行注意力YoloV4目标检测网络进行预训练，得到预训练模型；利用Mosaic数据增强方法随机把海洋生物图像训练集中的多幅图片拼接为一张图片来生成新的训练数据集，对所得到的预训练模型进行训练；
步骤S4、重新训练并行注意力YoloV4目标检测网络，利用重新训练后所得到的并行注意力YoloV4目标检测网络对测试集中图像进行检测。
2.根据权利要求1所述的一种基于深度学习的海洋生物智能检测方法，其特征在于：步骤S1中按照9:1的比例将海洋生物图像数据集划分为训练集、验证集和测试集，将训练集和验证集一起加入训练，并在训练的过程中将训练验证集按9:1划分参与训练。
3.根据权利要求1所述的一种基于深度学习的海洋生物智能检测方法，其特征在于：所述并行注意力YoloV4目标检测网络结构包括四个部分，第一部分为CSPDarkNet53主干特征提取网络；第二部分为SPP+PANet，即空间金字塔池化网络和路径聚合网络；第三部分为并行注意力机制部分；第四部分是YoloHead用获取到的特征进行预测。
4.根据权利要求3所述的一种基于深度学习的海洋生物智能检测方法，其特征在于：所述方法中，空间金字塔池化网络即空间金字塔池化层SPP，掺杂在CSPDarkNet53最后一个卷积层中，分别利用四个不同尺度的最大池化Maxpool进行处理；最大池化的池化核大小分别为13×13、9×9、5×5、1×1；其中1×1即无处理，用于极大地增加感受野及分离出最为显著的上下文信息；
路径聚合网络PANet用于实现对特征的反复提取，实现特征融合从浅到深和从深到浅的过程；其具体操作为：步骤S4中，通过CSPDarkNet53分别提取出浅层特征、中层特征、深层特征P1、P2、P3；利用SPP网络中四种不同大小池化核的最大池化层提取出P3中较为显著的特征，之后同时利用五次卷积、上采样、下采样将深层特征P3与中层特征P2、浅层特征P1进行特征融合；
通过SPP与PANet所获得的P1、P2、P3在经过并行注意力机制后分别对应Yolo Head预测网络中13×13×18、26×26×18、52×52×18三种不同尺寸的预测结果，实现对大、中、小海洋生物目标的检测。
5.根据权利要求4所述的一种基于深度学习的海洋生物智能检测方法，其特征在于：所述方法在PANet和YoloHead中间部分引入并行注意力机制，具体为卷积后获得的特征基础上，利用空间域注意力和通道域注意力提取其权重系数，并与原始特征相乘。
6.根据权利要求1所述的一种基于深度学习的海洋生物智能检测方法，其特征在于：步骤S3中，利用Mosaic数据增强方法随机把海洋生物图像训练集中的四幅图片拼接为一张图片来生成新的训练数据集，对所得到的预训练模型进行重新训练；
重新训练时，训练中设置batchsize为8、学习率为1×10-3、最大迭代次数为100；每一轮训练结束后采用验证集对并行注意力机制YoloV4目标检测网络训练效果进行评价；验证过程中采用标签平滑方法来降低少量错误标签对并行注意力YoloV4目标检测网络整体性能的影响。
7.根据权利要求1所述的一种基于深度学习的海洋生物智能检测方法，其特征在于：步骤S4中，经过PANet和并行注意力机制后的融合特征将会输入YoloHead中，通过三种不同的尺度检测得到测试集图像中的海洋生物目标类别、置信度、位置。
8.根据权利要求1所述的一种基于深度学习的海洋生物智能检测方法，其特征在于：所述海洋生物图像的图像背景为水体；
所述检测方法用于对复杂海洋环境中的海洋生物目标进行快速检测；
当含海洋生物的图像完成检测之后，若海洋生物目标周围有着大量的预测框，则再利用非极大值抑制进行筛选，得到置信度最优的检测框作为最后的预测框。
9.根据权利要求3所述的一种基于深度学习的海洋生物智能检测方法，其特征在于：并行注意力机制分为两个部分，一部分为空间域注意力，另一部分是通道域注意力，空间域注意力分别执行最大池化操作和平均池化操作，生成两个特征图；随后将这两个特征图相结合，生成结合后的权重图F1，再将权重图F1经过一个7×7卷积重新提取特征，得到一个新的权重图F2，再将F2与特征图相结合，得到空间域特征图FS；有空间域注意力计算公式为：
Figure RE-FDA0003697849270000021
通道域注意力包括逐点卷积、空间金字塔池化结构和多层感知部分，逐点卷积包括一个1X1的卷积层、一个BN层和一个Relu激活函数；所述BN层为批量归一化层BatchNormalization；
空间金字塔池化结构包含三层不同大小的自适应平均池化层；
多层感知部分用于在空间金字塔的输出中学习特征图；
有通道域注意力计算过程如下：
假设输入的特征图有C个通道，而与此同时每一个通道的大小分别为HⅹW，假设CNN包含L层，xl表示l∈[1,L]层的输出，自适应池化层与全连接层分别采用P(·，·),Ffc(·),C(·)表示堆叠操作，σ(·)表示sigmoid激活函数，R(·)表示Resize函数。对于给定的特征图xl∈RC×H×W,基于卷积神经网络模型的注意力机制可以从该输入学习权值并与其相乘从而得到输出的对应的权重值。因此，该注意力机制的输出可以表示为：
S(xl)＝C(R(P(xl,4),R(P(xl,2)),R(P(xl,1)))
对于上述的输出，注意力机制还做了以下的变换：
Γ(xl)＝σ(Ffc(Ffc(S(xl))))
公式在展现注意力机制模块计算的方式时，省略了批量归一化层、激活层以及逐点卷积，采用简化方式来表示该注意力模块的核心变化过程。
CN202210230186.4A 2022-03-10 2022-03-10 一种基于深度学习的海洋生物智能检测方法 Pending CN114782982A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210230186.4A CN114782982A (zh) 2022-03-10 2022-03-10 一种基于深度学习的海洋生物智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210230186.4A CN114782982A (zh) 2022-03-10 2022-03-10 一种基于深度学习的海洋生物智能检测方法

Publications (1)

Publication Number Publication Date
CN114782982A true CN114782982A (zh) 2022-07-22

Family

ID=82423346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210230186.4A Pending CN114782982A (zh) 2022-03-10 2022-03-10 一种基于深度学习的海洋生物智能检测方法

Country Status (1)

Country Link
CN (1) CN114782982A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359360A (zh) * 2022-10-19 2022-11-18 福建亿榕信息技术有限公司 一种电力现场作业场景检测方法、系统、设备和存储介质
CN115690522A (zh) * 2022-12-29 2023-02-03 湖北工业大学 一种基于多池化融合通道注意力的目标检测方法及其应用
CN115719445A (zh) * 2022-12-20 2023-02-28 齐鲁工业大学 一种基于深度学习和树莓派4b模块的海产品识别方法
CN117911793A (zh) * 2024-03-18 2024-04-19 南开大学 基于深度学习的海洋生物智能检测方法
CN117972534A (zh) * 2024-03-29 2024-05-03 中国海洋大学三亚海洋研究院 一种基于深度学习的海洋亚中尺度过程识别方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359360A (zh) * 2022-10-19 2022-11-18 福建亿榕信息技术有限公司 一种电力现场作业场景检测方法、系统、设备和存储介质
CN115719445A (zh) * 2022-12-20 2023-02-28 齐鲁工业大学 一种基于深度学习和树莓派4b模块的海产品识别方法
CN115690522A (zh) * 2022-12-29 2023-02-03 湖北工业大学 一种基于多池化融合通道注意力的目标检测方法及其应用
CN117911793A (zh) * 2024-03-18 2024-04-19 南开大学 基于深度学习的海洋生物智能检测方法
CN117911793B (zh) * 2024-03-18 2024-05-17 南开大学 基于深度学习的海洋生物智能检测方法
CN117972534A (zh) * 2024-03-29 2024-05-03 中国海洋大学三亚海洋研究院 一种基于深度学习的海洋亚中尺度过程识别方法

Similar Documents

Publication Publication Date Title
CN114782982A (zh) 一种基于深度学习的海洋生物智能检测方法
CN108256482B (zh) 一种基于卷积神经网络进行分布学习的人脸年龄估计方法
CN106951923B (zh) 一种基于多视角信息融合的机器人三维形状识别方法
CN110298387A (zh) 融入像素级attention机制的深度神经网络目标检测方法
CN112818969A (zh) 一种基于知识蒸馏的人脸姿态估计方法及系统
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知系统
CN108932712A (zh) 一种转子绕组质量检测系统及方法
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN114202563A (zh) 一种基于平衡性联合网络的鱼类多目标跟踪方法
CN114596480A (zh) 一种基于yolov5优化的海底生物目标检测方法和系统
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
CN114596584A (zh) 海洋生物智能检测识别方法
CN116883360B (zh) 一种基于多尺度双通道的鱼群计数方法
CN113887585A (zh) 基于编解码网络的图像-文本多模态融合方法
CN111104976B (zh) 一种基于时间序列图像的蓝藻覆盖率计算方法
Zhao et al. Recognition and Classification of Concrete Cracks under Strong Interference Based on Convolutional Neural Network.
Ge et al. Real-time object detection algorithm for Underwater Robots
CN114005064A (zh) 一种基于机器视觉技术的生物式水体污染预警方法及装置
CN113792785A (zh) 一种基于wgan-gp和yolo的船体附着物快速识别方法
CN114373118B (zh) 基于改进yolov4的水下目标检测方法
CN116129198B (zh) 一种多域轮胎花纹图像分类方法、系统、介质及设备
CN117079273A (zh) 一种基于深度学习的浮游藻类微生物检测方法
CN117765410B (zh) 遥感影像双分支特征融合固废识别方法、系统及电子设备
CN117274787A (zh) 一种基于水下先验信息感知的声呐目标检测方法
CN117218606B (zh) 一种逃生门检测方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination