CN113963251A - 一种海洋生物检测方法、系统和设备 - Google Patents

一种海洋生物检测方法、系统和设备 Download PDF

Info

Publication number
CN113963251A
CN113963251A CN202111421605.4A CN202111421605A CN113963251A CN 113963251 A CN113963251 A CN 113963251A CN 202111421605 A CN202111421605 A CN 202111421605A CN 113963251 A CN113963251 A CN 113963251A
Authority
CN
China
Prior art keywords
data set
marine organism
training
detection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111421605.4A
Other languages
English (en)
Inventor
李传涛
赵志刚
霍吉东
李响
武鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Computer Science Center National Super Computing Center in Jinan
Original Assignee
Shandong Computer Science Center National Super Computing Center in Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Computer Science Center National Super Computing Center in Jinan filed Critical Shandong Computer Science Center National Super Computing Center in Jinan
Priority to CN202111421605.4A priority Critical patent/CN113963251A/zh
Publication of CN113963251A publication Critical patent/CN113963251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了海洋生物检测方法、系统和设备，海洋生物检测方法，包括以下步骤：获取ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集；使用所述ImageNet数据集对预设分类网络进行训练，得到预训练模型；使用所述海洋生物细粒度图像分类数据集对所述预训练模型进行训练得到训练模型；选取部分所述海洋生物数据集进行标注得到标注数据集；使用预设算法对标注数据集进行强化；使用训练模型结合多尺度检测网络和位置注意力机制基于强化后的标注数据集进行训练，得到海洋生物检测模型；输入未被标注的自拍摄海洋生物数据集，输出检测信息，能够准确的检测出图像或视频中存在的海洋生物种类。

Description

一种海洋生物检测方法、系统和设备
技术领域
本发明涉及数字图像处理技术领域，具体为一种海洋生物检测方法、系统和设备。
背景技术
全球气候的变化以及环境污染等问题造成海洋生态环境的改变，严重破坏了一些海洋生物赖以生存的环境，随之而来的是海洋生物多样性的消失。海洋资源的匮乏问题已成为目前人类又一个不愿面对的海洋真相,海洋资源可持续发展也将是本世纪最重要的课题之一。研究海洋生物多样性，统计掌握现有的海洋生物资源种类，对海洋生物资源保护，海洋生物科学研究有重大意义。
近年来，随着深度学习技术的发展与逐渐成熟，从图像中识别出对象物的“图像识别技术”的性能借助“深度学习”得以迅速提高，在点燃了其在学术界的研究热潮的同时，也引起了产业界的广泛关注，也为基于视觉的角度进行海洋生物图像分类与识别提供了新的探索方向。
一方面，基于深度学习技术对物种进行识别需要大量的生物图像，尚存的海洋生物数据库都存在海洋生物物种图库量少，物种图像缺失等问题。因此构建海洋生物图像库并研究基于视觉的海洋生物目标检测对海洋资源的开发具有重要的研究价值和战略意义。
另一方面，基于深度学习的目标检测算法为了检测更多复杂的特征往往会加深或加宽网络，同时为了减少计算量以及增加位移不变特性，网络中常常增加池化层，池化层下采样过程不可避免地会丢失部分或者全部小目标特征信息，在实际中就会导致小目标的漏检情况。如何借助于大数据与人工智能手段对水下环境数据进行分析，提升海洋生物检测准确率是当前研究的重要课题。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种海洋生物检测方法、系统和设备，能够准确的检测出图像或视频中存在的海洋生物种类。
为达到上述目的，本发明提供的技术方案如下：
根据本发明的一个方面，一种海洋生物检测方法，包括以下步骤：
获取ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集；
使用所述ImageNet数据集对预设分类网络进行训练，得到预训练模型；
使用所述海洋生物细粒度图像分类数据集对所述预训练模型进行训练得到训练模型；
选取部分所述海洋生物数据集进行标注得到标注数据集；
使用预设算法对标注数据集进行强化；
使用训练模型结合多尺度检测网络和位置注意力机制基于强化后的标注数据集进行训练，得到海洋生物检测模型；
输入未被标注的自拍摄海洋生物数据集，输出检测信息。
进一步的，使用训练模型结合多尺度检测网络和位置注意力机制基于强化后的标注数据集进行训练得到海洋生物检测模型，包括：在训练模型进行检测时增加位置注意力机制并基于多尺度检测网络生成至少两种尺度的图像。
进一步的，在训练模型进行检测时增加位置注意力机制，包括通过若干第三卷积层、最大池化层、平均池化层提取捕获待检测图像任意两个位置之间的空间依赖。
进一步的，通过若干第三卷积层、最大池化层、平均池化层提取捕获待检测图像任意两个位置之间的空间依赖，包括：
利用平均池化层和最大池化层对输入的多通道特征图进行特征提取，然后将多通道特征图融合，使用第三卷积层将多通道特征图变成单通道的特征图，接着通过卷积网络将单通道特征图变成多通道特征图，最后与初始输入的多通道特征图进行融合，实现提取图像任意两个位置的空间依赖。
进一步的，选取部分所述海洋生物数据集进行标注得到标注数据集，包括：使用ImgLabel标注工具进行标注，标注过程中标记海洋生物的身份信息，同时需要使用标签框对海洋生物的位置进行标注。
进一步的，使用预设算法对标注数据集进行强化，包括：首先，从标注数据集中取出以batch_size为单位的批量图像，然后，从batch_size中随机取出多张图像，最后，对多张图像按照预设规则进行任意的裁剪，将裁剪后的图像进行拼接，融合成一张图像，优选的，若进行裁剪时，裁剪了图像的标签框区域，则将其舍弃。
进一步的，使用所述ImageNet数据集对预设模型进行训练时，每经过10个batch_size，改变输入图像的尺寸。
根据本发明的另一个方面，一种水海洋生物检测系统，包括：
信息采集模块，配置用于获取ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集；
预训练模块，配置用于使用所述ImageNet数据集对预设分类网络进行训练，得到预训练模型；
训练模块，配置用于使用所述海洋生物精细度数据集对所述预训练模型进行训练得到训练模型；
数据标注模块，配置用于选取部分所述海洋生物数据集进行标注得到标注数据集；
强化模块，配置用于使用预设算法对标注数据集进行强化；
检测模块，配置用于使用训练模型结合多尺度检测网络和位置注意力机制基于增强后的标注数据集进行训练，得到海洋生物检测模型，以供输入未被标注的海洋生物数据集，输出检测信息。
进一步的，所述分类网络为DarkNet53网络，包括若干第一卷积层、第一BN层、第一激活层、残差模块及归一化指数函数；
和/或
所述多尺度检测网络包括若干第二卷积层、第二BN层、第二激活层，配置用于生成至少两种尺度的图像，比如可以是两种或三种尺度的图像。
和/或
所述位置注意力机制包括若干第三卷积层、最大池化层、平均池化层，配置用于提取捕获待检测图像任意两个位置之间的空间依赖。
根据本发明的另一个方面，提供了一种设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上任一项所述的方法。
根据本发明的另一个方面，提供了一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法。
与现有技术相比，本发明具有以下有益效果：
1、本发明示例的海洋生物检测方法，使用训练模型结合多尺度检测网络和位置注意力机制基于强化后的标注数据集进行训练，能够准确的检测出图像及视频中存在的海洋生物种类及坐标。可以对海洋水下生物(如鱼类)进行检测，在海洋生物保护、海洋牧场及机器人智能捕捞等领域能发挥重要的作用
2、本发明示例的水海洋生物检测系统，使用多尺度预测网络对目标图像输出结合位置注意力机制有效解决模型对小目标漏检的问题，综合提升海洋生物目标检测结果；
3、本发明设备执行如上任一项所述的方法实现对海洋生物检测方法，能够准确的检测出图像或视频中存在的海洋生物种类。
4、本发明设备计算机可读存储介质，该程序被处理器执行时实现如上任一项所述的方法，能够准确的检测出图像或视频中存在的海洋生物种类。
附图说明
图1为本发明基于多尺度检测网络和位置注意力机制的海洋生物检测算法流程图；
图2为本发明构建的部分海洋生物样本库示意图；
图3为本发明的多尺度预测网络算法示意图；
图4为本发明的位置注意力机制算法示意图；
图5为本发明的动态强化算法示意图；
图6为本发明的海洋生物检测模型检测效果图；
图7为本发明的设备的结构示意图。
具体实施方式
为了更好的了解本发明的技术方案，下面结合说明书附图和具体实施例对本发明作进一步说明。
实施例1
一种水海洋生物检测系统，包括
信息采集模块，配置用于获取ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集；
预训练模块，配置用于使用所述ImageNet数据集对预设分类网络进行训练，得到预训练模型；所述分类网络可以为DarkNet53网络，包括若干第一卷积层、第一BN层、第一激活层、残差模块及归一化指数函数，输出结果为海洋生物(如鱼类)的种类与对应的概率。
训练模块，配置用于使用所述海洋生物精细度数据集对所述预训练模型进行训练得到训练模型；
数据标注模块，配置用于选取部分所述海洋生物数据集进行标注得到标注数据集；
强化模块，配置用于使用预设算法对标注数据集进行强化；
检测模块，配置用于使用训练模型结合多尺度检测网络和位置注意力机制基于增强后的标注数据集进行训练，得到海洋生物检测模型，以供输入未被标注的海洋生物数据集，输出检测信息，具体的海洋生物数据集按照8:2分为训练集(标注)和验证集，可以将模型部署到Web系统，实现对水下含有鱼类的视频或图像进行检测，将鱼类的名称以及所在的位置显示到Web界面。
本实施例提供一种水海洋生物检测系统的方法，包括以下步骤：
第一步：获取ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集，各数据集可以构建海洋生物样本库。
第二步：使用所述ImageNet数据集对预设分类网络进行训练，得到预训练模型。
第三步：使用所述海洋生物细粒度图像分类数据集对所述预训练模型进行训练得到训练模型。
第四步：选取部分所述海洋生物数据集进行标注得到标注数据集包括：使用ImgLabel标注工具进行标注，标注过程中标记海洋生物的身份信息，身份信息包括海洋生物的种类、名称等，同时需要使用标签框对海洋生物的位置进行标注。
第五步：使用预设算法对标注数据集进行强化，包括：首先，从标注数据集中取出以batch_size为单位的批量图像，然后，从batch_size中随机取出多张图像，最后，对多张图像按照预设规则进行任意的裁剪，将裁剪后的图像进行拼接，融合成一张图像，优选的，若进行裁剪时，裁剪了图像的标签框区域，则将其舍弃。为了使最终的模型能够处理不同分辨率图像，第二步使用所述ImageNet数据集对预设模型进行训练时，每经过10个batch_size，改变输入图像的尺寸。
第六步：使用训练模型结合多尺度检测网络和位置注意力机制基于强化后的标注数据集进行训练，得到海洋生物检测模型，具体包括：在训练模型进行检测时增加位置注意力机制并基于多尺度检测网络生成至少两种尺度的图像，进一步的，
在训练模型进行检测时增加位置注意力机制，包括通过若干第三卷积层、最大池化层、平均池化层提取捕获待检测图像任意两个位置之间的空间依赖，具体的，利用平均池化层和最大池化层对输入的多通道特征图进行特征提取，然后将多通道特征图融合，使用第三卷积层将多通道特征图变成单通道的特征图，接着通过卷积网络将单通道特征图变成多通道特征图，最后与初始输入的多通道特征图进行融合，实现提取图像任意两个位置的空间依赖。
第七步：输入未被标注的自拍摄海洋生物数据集，输出检测信息。
为进一步方便理解，下面以海洋鱼类为例，结合具体事例对本发明进一步解释，
1、构建海洋生物鱼类样本库，包括ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集。
2、使用ImageNet数据集对主干网络训练得到预训练模型；主干网络为分类网络，本发明采用DarkNet53作为主干网络，DarkNet53网络使用卷积模块及一系列的残差模块提升特征提取能力。
3、使用细粒度图像分类数据集对预训练模型进行微调，得到最终的预训练模型，使用鱼类细粒度能够提升模型对细粒度领域的分类能力。
4、为了使最终的模型能够处理不同分辨率图像，使用多尺度输入训练集，每经过10个batch_size，改变输入图像的尺寸，根据DarkNet53网络最大经过32倍下采样，所以设定的训练图像尺寸范围的长和宽需满足32的倍数。
5、为了使模型能够提升模型对小目标检测的准确率，针对同一分辨率图像可能存在大、中以及小目标，本发明使用多尺度预测网络对目标图像输出三个尺度预测结果，同时结合特征金字塔网络，将高级语义信息和低级图像细节信息融合，有效解决模型对小目标漏检的问题。多尺度检测网络通过对输入图像的下采样来获得的，如果输入图像尺寸宽和高为416*416，第一种尺度特征图时对原始输入图像进行32倍下采样得到的(13*13)，第二组尺度特征图时相比原始图像进行16倍的下采样得到的(26*26)，第三种尺度特征图是相比原始图像进行8倍的下采样得到(52*52)。
6、为了丰富数据集特别是有效增加小目标数据集，本发明使用动态数据增强算法针对性的增加数据量。首先，从数据集中取出以batch_size为单位的批量图像，然后，从batch_size中随机取出多张图像，最后，对多张图像按照一定的规则进行任意的裁剪，将裁剪后的图像进行拼接，融合成一张图像(当进行裁剪的时候，如果裁剪了样本当中的标签框的部分区域，则将其舍弃，保留裁剪之后还完整的标签框)。通过动态增强算法能够使网络关注比正常尺寸小的物体，让网络的鲁棒性更好。
7、为了提升模型对有效目标的关注度忽略无关的背景，引入注意力机制，使用基于深度学习与注意力机制融合的海洋生物智能检测算法综合提升鱼类目标检测结果。
下面结合附图与具体实施例对本发明进行进一步的说明
如图1所示，本发明提出的一种基于深度学习和注意力机制的海洋生物检测方法，包括：
步骤1：利用水下摄像设备采集水下鱼类视频数据集，获取ImageNet图像数据集，通过爬虫获取公开的海洋鱼类细粒度图像分类数据集。本发明提出的海洋生物鱼类检测方法需要搭建相应的采集设备及传输系统，包括一套水下摄像采集设备及图像视频数据传输系统等。
步骤2：对获得鱼类视频数据集进行预处理操作，每一种鱼类从多个视频数据中截取1000张图像并对其进行精标注；
步骤3：使用ImageNet图像数据集对主干网络进行训练，得到预训练模型；
步骤4：使用爬虫获取的鱼类细粒度数据集对步骤3得到的预训练模型进行微调，得到训练模型；
步骤5：对步骤2得到精标注数据进行动态数据强化，首先，从标注数据集中取出以batch_size为单位的批量图像，然后，从batch_size中随机取出多张图像，最后，对多张图像按照预设规则进行任意的裁剪，将裁剪后的图像进行拼接，融合成一张图像，优选的，若进行裁剪时，裁剪了图像的标签框区域，则将其舍弃。
将步骤4得到的训练模型、多尺度预测网络及注意力机制对增强化的数据进行训练，得到海洋鱼类检测模型，并将海洋鱼类检测模型应用到真实的水下场景中。
在具体实施例步骤1中：水下摄像设备应当具有良好的摄像功能，所述采集的海洋水下图像为其拍摄到的高分辨率、高清晰度的高质量图像。
在具体实施例步骤2中：使用ImgLabel标注工具进行精标注，标注过程中需要准确的标记鱼的种类，同时需要使用矩形框对鱼的位置进行标注。为了避免模型出现的过拟合现象以及增强训练模型的泛化能力，需要对同一种鱼的不同角度进行标注，例如鱼的侧面、正面及不同环境下多方位角度，同时保存标注的xml文件。每一种鱼类选择1000张，采集20种鱼类，共精标注数据集20000张。
在具体实施例步骤3中：使用ImageNet数据集对DarkNet53网络进行预训练。ImageNet数据集按照8:2分为训练集及验证集，Darknet53网络由卷积模块和残差网络构成，对ImageNet数据集训练完后得到分类预训练模型。
在具体实施例步骤4中：为了增强模型在细粒度领域分类能力，本发明通过爬虫在互联网获取了公开的鱼类数据，并使用步骤3得到的分类预训练模型对细粒度鱼类数据进行微调，得到最终的海洋生物分类预训练模型。
在具体实施例步骤5中不可避免的会丢失小目标的特征，造成小目标漏检问题。针对小目标漏检问题，本发明使用多尺度预测网络进行训练，根据下采样的倍数对应输出大、中及小目标检测信息，多尺度网络检测架构如图3所示，以训练图像尺寸为416*416为例，其中32倍下采样感受野最大，适合检测大目标，16倍的下采样感受野中等适合检测中等目标，8倍的下采样最小，图像信息保留的较为完整，适合检测小目标；
在数据集方面为了更好的提升训练集的数量并重点提升小目标数量，本发明采用动态强化的算法，从batchsize取出多张图像，将多张图像进行缩放融合成一张图像，通过缩放能够增加小目标的样本量，通过多张融合一张能够增加训练集数量，动态强化算法如图5所示；
为了能够提升目标检测准确率，本发明通过注意力机制使模型更加关注目标本身，忽略与目标无关的背景，输入注意力机制特征图尺寸为H*W*C，通过最大池化层、平均池化层及卷积层将特征图reshape为H*W，然后在经过卷积层恢复到H*W*C尺寸，最后与输出输入尺寸融合作为注意力机制的输出结果，注意力机制算法如图4所示；
最终我们通过以上优化算法对精标注数据集进行训练，数据集按照8:2分为训练集和验证集，最终将训练得到的模型应用到海洋生物鱼类智能检测系统，实现对真实水下鱼类智能检测，系统检测结果如图6所示。
本实施例的一种设备，所述设备包括：一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述任一项所述的方法，旨在通过构建丰富的海洋生物样本库，使用多尺度预测网络及位置注意力机制技算法提升多目标多尺度鱼类检测准确率。
本实施例的一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现上述任一项所述的方法，储存有被处理器执行时实现海洋生物检测方法，旨在通过构建丰富的海洋生物样本库，使用多尺度预测网络及位置注意力机制技算法提升多目标多尺度鱼类检测准确率。进一步介绍如下：
计算机系统包括中央处理单元(CPU)101，其可以根据存储在只读存储器(ROM)102中的程序或者从存储部分加载到随机访问存储器(RAM)103中的程序而执行各种适当的动作和处理。在RAM103中，还存储有系统操作所需的各种程序和数据。CPU 101、ROM 102及RAM103通过总线104彼此相连。输入/输出(I/O)接口105也连接至总线104。
以下部件连接至I/O接口105：包括键盘、鼠标等的输入部分106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等及扬声器等的输出部分；包括硬盘等的存储部分108；及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分109。通信部分109经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口105。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分108。
特别地，根据本发明的实施例，上文参考流程图1描述的过程可以被实现为计算机软件程序。例如，本发明的实施例1包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)101执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的框图7，图示了按照本发明各种实施例1的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。其中，这些模块元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种水海洋生物检测系统，包括：信息采集模块、预训练模块、训练模块、数据标注模块、强化模块、检测模块，其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，数据采集模块还可以被描述为“获取获取ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集的数据采集模块”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的海洋生物检测方法。
例如，所述电子设备可以实现：步骤S1：获取ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集；步骤S2：使用所述ImageNet数据集对预设分类网络进行训练，得到预训练模型；步骤S3：使用所述海洋生物细粒度图像分类数据集对所述预训练模型进行训练得到训练模型，步骤S4：选取部分所述海洋生物数据集进行标注得到标注数据集；步骤S5：使用预设算法对标注数据集进行强化；步骤S6：使用训练模型结合多尺度检测网络和位置注意力机制基于强化后的标注数据集进行训练，得到海洋生物检测模型；步骤S7：输入未被标注的自拍摄海洋生物数据集，输出检测信息。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，及/或者将一个步骤分解为多个步骤执行等。
以上描述仅为本申请的较佳实施例及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能。
上述数据说明本发明海洋生物检测方法能够准确的恢复水下图像退化等问题。由于已经通过以上实施例描述了本发明，任何等同替换对于本发明来说都是显而易见的并且包含在本发明之中。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种海洋生物检测方法，其特征在于，包括：
获取ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集；
使用所述ImageNet数据集对预设分类网络进行训练，得到预训练模型；
使用所述海洋生物细粒度图像分类数据集对所述预训练模型进行训练得到训练模型；
选取部分所述海洋生物数据集进行标注得到标注数据集；
使用预设算法对标注数据集进行强化；
使用训练模型结合多尺度检测网络和位置注意力机制基于强化后的标注数据集进行训练，得到海洋生物检测模型；
输入未被标注的自拍摄海洋生物数据集，输出检测信息。
2.根据权利要求1所述的海洋生物检测方法，其特征在于，使用训练模型结合多尺度检测网络和位置注意力机制基于强化后的标注数据集进行训练得到海洋生物检测模型，包括：在训练模型进行检测时增加位置注意力机制并基于多尺度检测网络生成至少两种尺度的图像。
3.根据权利要求2所述的海洋生物检测方法，其特征在于，在训练模型进行检测时增加位置注意力机制，包括通过若干第三卷积层、最大池化层、平均池化层提取捕获待检测图像任意两个位置之间的空间依赖。
4.根据权利要求1所述的海洋生物检测方法，其特征在于，通过若干第三卷积层、最大池化层、平均池化层提取捕获待检测图像任意两个位置之间的空间依赖，包括：
利用平均池化层和最大池化层对输入的多通道特征图进行特征提取，然后将多通道特征图融合，使用第三卷积层将多通道特征图变成单通道的特征图，接着通过卷积网络将单通道特征图变成多通道特征图，最后与初始输入的多通道特征图进行融合，实现提取图像任意两个位置的空间依赖。
5.根据权利要求1所述的海洋生物检测方法，其特征在于，选取部分所述海洋生物数据集进行标注得到标注数据集，包括：使用ImgLabel标注工具进行标注，标注过程中标记海洋生物的类别信息，同时需要使用标签框对海洋生物的位置进行标注。
6.根据权利要求5所述的海洋生物检测方法，其特征在于，使用预设算法对标注数据集进行强化，包括：首先，从标注数据集中取出以batch_size为单位的批量图像，然后，从batch_size中随机取出多张图像，最后，对多张图像按照预设规则进行任意的裁剪，将裁剪后的图像进行拼接，融合成一张图像，优选的，若进行裁剪时，裁剪了图像的标签框区域，则将其舍弃。
7.根据权利要求6所述的海洋生物检测方法，其特征在于，使用所述ImageNet数据集对预设模型进行训练时，每经过10个batch_size，改变输入图像的尺寸。
8.一种海洋生物检测系统，其特征在于，包括：
信息采集模块，配置用于获取ImageNet数据集、海洋生物细粒度图像分类数据集以及拍摄得到的海洋生物数据集；
预训练模块，配置用于使用所述ImageNet数据集对预设分类网络进行训练，得到预训练模型；
训练模块，配置用于使用所述海洋生物精细度数据集对所述预训练模型进行训练得到训练模型；
数据标注模块，配置用于选取部分所述海洋生物数据集进行标注得到标注数据集；
强化模块，配置用于使用预设算法对标注数据集进行强化；
检测模块，配置用于使用训练模型结合多尺度检测网络和位置注意力机制基于增强后的标注数据集进行训练，得到海洋生物检测模型，以供输入未被标注的海洋生物数据集，输出检测信息。
9.根据权利要求8所述的海洋生物检测系统，其特征在于，所述分类网络为DarkNet53网络，包括若干第一卷积层、第一BN层、第一激活层、残差模块及归一化指数函数；
和/或
所述多尺度检测网络包括若干第二卷积层、第二BN层、第二激活层，配置用于生成至少两种尺度的图像。
和/或
所述位置注意力机制包括若干第三卷积层、最大池化层、平均池化层，配置用于提取捕获待检测图像任意两个位置之间的空间依赖。
10.一种设备，包括：一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7任一所述的方法。
CN202111421605.4A 2021-11-26 2021-11-26 一种海洋生物检测方法、系统和设备 Pending CN113963251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111421605.4A CN113963251A (zh) 2021-11-26 2021-11-26 一种海洋生物检测方法、系统和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111421605.4A CN113963251A (zh) 2021-11-26 2021-11-26 一种海洋生物检测方法、系统和设备

Publications (1)

Publication Number Publication Date
CN113963251A true CN113963251A (zh) 2022-01-21

Family

ID=79472301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111421605.4A Pending CN113963251A (zh) 2021-11-26 2021-11-26 一种海洋生物检测方法、系统和设备

Country Status (1)

Country Link
CN (1) CN113963251A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385601A (zh) * 2022-03-24 2022-04-22 山东省计算中心（国家超级计算济南中心） 基于超算的云边协同高通量海洋数据智能处理方法及系统
CN115147419A (zh) * 2022-09-05 2022-10-04 威海经济技术开发区天智创新技术研究院 一种基于图像处理的海洋安全评测方法及装置
CN115910047A (zh) * 2023-01-06 2023-04-04 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、模型训练方法、关键词检测方法及设备
CN117911793B (zh) * 2024-03-18 2024-05-17 南开大学 基于深度学习的海洋生物智能检测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114385601A (zh) * 2022-03-24 2022-04-22 山东省计算中心（国家超级计算济南中心） 基于超算的云边协同高通量海洋数据智能处理方法及系统
CN115147419A (zh) * 2022-09-05 2022-10-04 威海经济技术开发区天智创新技术研究院 一种基于图像处理的海洋安全评测方法及装置
CN115147419B (zh) * 2022-09-05 2022-11-18 威海经济技术开发区天智创新技术研究院 一种基于图像处理的海洋安全评测方法及装置
CN115910047A (zh) * 2023-01-06 2023-04-04 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、模型训练方法、关键词检测方法及设备
CN117911793B (zh) * 2024-03-18 2024-05-17 南开大学 基于深度学习的海洋生物智能检测方法

Similar Documents

Publication Publication Date Title
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
Cai et al. A modified YOLOv3 model for fish detection based on MobileNetv1 as backbone
Boom et al. A research tool for long-term and continuous analysis of fish assemblage in coral-reefs using underwater camera footage
CN113963251A (zh) 一种海洋生物检测方法、系统和设备
Pally et al. Application of image processing and convolutional neural networks for flood image classification and semantic segmentation
Zhang et al. CDNet: A real-time and robust crosswalk detection network on Jetson nano based on YOLOv5
Wei et al. Underwater target detection with an attention mechanism and improved scale
CN110619638A (zh) 一种基于卷积块注意模块的多模态融合显著性检测方法
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
CN115661505A (zh) 一种语义感知的图像阴影检测方法
US20210256717A1 (en) Edge-guided ranking loss for monocular depth prediction
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN115719445A (zh) 一种基于深度学习和树莓派4b模块的海产品识别方法
Liu et al. Road segmentation with image-LiDAR data fusion in deep neural network
Zhang et al. CE-RetinaNet: A channel enhancement method for infrared wildlife detection in UAV images
Javaid et al. An Efficient Method for Underwater Video Summarization and Object Detection Using YoLoV3.
CN112329550A (zh) 基于弱监督学习的受灾建筑快速定位评估方法及装置
Kumar et al. Saliency subtraction inspired automated event detection in underwater environments
Zhou et al. Underwater occlusion object recognition with fusion of significant environmental features
CN111814696A (zh) 一种基于改进YOLOv3的视频船舶目标检测方法
Kondo et al. MVA2023 Small Object Detection Challenge for Spotting Birds: Dataset, Methods, and Results
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN110659724A (zh) 一种基于目标尺度范围的目标检测卷积神经网络构建方法
İsa Performance Evaluation of Jaccard-Dice Coefficient on Building Segmentation from High Resolution Satellite Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination