CN112800952B - 一种基于改进ssd算法的海洋生物识别方法及系统 - Google Patents

一种基于改进ssd算法的海洋生物识别方法及系统 Download PDF

Info

Publication number
CN112800952B
CN112800952B CN202110110444.0A CN202110110444A CN112800952B CN 112800952 B CN112800952 B CN 112800952B CN 202110110444 A CN202110110444 A CN 202110110444A CN 112800952 B CN112800952 B CN 112800952B
Authority
CN
China
Prior art keywords
feature
conv8
conv4
conv7
marine organism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110110444.0A
Other languages
English (en)
Other versions
CN112800952A (zh
Inventor
林明星
邓权
代成刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110110444.0A priority Critical patent/CN112800952B/zh
Publication of CN112800952A publication Critical patent/CN112800952A/zh
Application granted granted Critical
Publication of CN112800952B publication Critical patent/CN112800952B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于改进SSD算法的海洋生物识别方法及系统。其中，该方法包括：获取用于海洋生物识别的训练样本集和测试样本集，并转化为深度学习框架可以直接读取的格式；对训练样本集的图片进行预处理；提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测，得到训练好的海洋生物识别算法模型；将测试样本集输入至训练好的海洋生物识别算法模型，输出生物识别结果。

Description

一种基于改进SSD算法的海洋生物识别方法及系统
技术领域
本发明属于计算机视觉和图像处理技术领域，具体涉及一种基于改进SSD算法的海洋生物识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
由于不同波长的光在水中的衰减率差异，会出现严重的失真问题，图片区分度低。同时水下环境复杂，海洋生物往往隐藏在环境中,拍摄出的目标与背景区分度低，传统方法难以有效识别。随着卷积神经网络的发展，目标检测在图像分类、目标检测、图像分割等方面得到了广泛的应用。
当前主要有两种目标检测算法，一种是以Faster Rcnn为代表的two stage算法，这种算法精度较高，但需要一个子网络对目标框进行初步分类和回归，然后进行细粒度的分类和回归。Two stage算法计算量过大，速度慢，不满足海洋生物检测对实时性的要求。另一类是以SSD和YOLO网络为代表的one stage算法。One stage算法虽然速度快、精度较低。SSD算法兼顾速度和精度的优点，是当前应用最广泛的目标检测网络之一。但由于水下目标区分度低、目标过小，原始SSD算法对水下目标识别精度不够准确，同时海洋目标较小，原始SSD算法对小目标的检测效果差、准确率低。
发明内容
本发明为了解决上述问题，提出了一种基于改进SSD算法的海洋生物识别方法及系统，在SSD算法中采用上下双向流特征融合的方式增加浅层特征层的语义信息，增加深层特征层的细节信息，提高SSD算法的准确率。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于改进SSD算法的海洋生物识别方法。
一种基于改进SSD算法的海洋生物识别方法，包括：
获取用于海洋生物识别的训练样本集和测试样本集，并转化为深度学习框架可以直接读取的格式；
对训练样本集的图片进行预处理；
提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测，得到训练好的海洋生物识别算法模型；
将测试样本集输入至训练好的海洋生物识别算法模型，输出生物识别结果。
本发明的第二个方面提供一种基于改进SSD算法的海洋生物识别系统。
一种基于改进SSD算法的海洋生物识别系统，包括：
样本获取模块，其被配置为：获取用于海洋生物识别的训练样本集和测试样本集，并转化为深度学习框架可以直接读取的格式；
预处理模块，其被配置为：对训练样本集的图片进行预处理；
模型训练模块，其被配置为：提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测，得到训练好的海洋生物识别算法模型；
输出模块，其被配置为：将测试样本集输入至训练好的海洋生物识别算法模型，输出生物识别结果。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的基于改进SSD算法的海洋生物识别方法的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现第一方面所述的基于改进SSD算法的海洋生物识别方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明在SSD算法中采用上下双向流特征融合的方式增加浅层特征层的语义信息，增加深层特征层的细节信息，提高SSD算法的准确率。深层特征层语义丰富，特征表达能力强，通过将深层特征层融合进浅层特征层，增加浅层特征层的语义信息，提高浅层的特征表达能力，从而大幅度提高小目标的检测效果。浅层特征层分辨率较大，含有较多的细节信息，通过将浅层信息融合到深层特征层，增加深层特征层的细节信息，从而整体上提高算法的检测准确率。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明的实施例中基于改进SSD算法的海洋生物识别方法的流程图；
图2是本发明实施例中的海洋生物检测模型；
图3是本发明实施例中的第一融合模块结构图；
图4是本发明实施例中的第二融合模块结构图；
图5是本发明实施例中的第三融合模块结构图；
图6(a)是本发明实施例中原始SSD的检测效果图；
图6(b)是本发明实施例中采用本发明所述的海洋生物识别算法模型所得到的海洋生物检测效果图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
图1是本实施例中基于改进SSD算法的海洋生物识别方法的流程图，如图1所示：本实施例提供了一种基于改进SSD算法的海洋生物识别方法，包括：
S101：获取用于海洋生物识别的训练样本集和测试样本集，并转化为深度学习框架可以直接读取的格式；
具体的，通过自行拍摄或收集了约4000张海洋生物图片，通过labelimg软件进行标注，每张图生成一个voc数据格式的xml文件，存放该图中所有的真实框(groud truth)以及对应的目标类别。同时从公开数据集Open Images和wild fish等选取约10000张海洋生物图片，读取每张图的数据，制作成xml文件。将这14000张图片按照9：1划分训练样本集和测试样本集。
S102：对训练样本集的图片进行预处理；
具体的，将图片通过裁剪，固定大小为300×300。同时为了增加模型的拟合能力并减小过拟合风险，对训练图片进行数据增强。数据增强方式具体包括镜像、平移、模糊、噪声、旋转等图像处理手段。
S103：如图2所示，提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测，得到训练好的海洋生物识别算法模型；
所述提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测，包括：对训练样本的Conv4_3、Conv7、Conv8_2层采用上下双向流特征融合的方式增加浅层特征层的语义信息和深层特征层的细节信息。
具体的，特征提取算法与原始SSD保持一致，特征提取网络为VGG16，选取特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2用于后续融合与预测。
浅层尺度较大，细节信息丰富，含有小目标的感受视野，适合检测小目标，但由于原始特征提取网络的特征提取能力不足，浅层语义信息不足，小目标检测效果差。深层特征层语义信息丰富，分辨率低，缺少小目标的感受视野，适合检测大目标。海洋生物图片存在大量的小目标和残缺、重叠目标，要求检测网络有较高的检测准确率，尤其是对小目标的检测准确率。为了提高对海洋目标的检测准确率，本实施例选取出前三层特征层进行上下双向流的特征融合，通过将富含细节信息的浅层特征融合进深层特征层，增加深层特征层的细节信息，增加本实施例的整体检测准确率，通过将深层特征融合进浅层特征层，提高浅层目标的语义信息，增加其特征表达能力，进而提高对小目标的检测准确率。
进一步为了实现上下双向流特征流动，本实施例选出前三层分别为Conv4_3、Conv7、Conv8_2，尺度大小分别为38×38，19×19，10×10。由于这三层特征的尺度大小不一，融合方向也不一样，本专利提出了三种融合模块，包括第一融合模块、第二融合模块以及第三融合模块，实现特征的上下双向流特征融合。
具体的，第一融合模块，将Conv7和Conv8_2的特征信息融合到Conv4_3中；第二融合模块，将Conv4_3和Conv8_2的特征信息融合到Conv7中；第三融合模块，将Conv4_3和Conv7的特征信息融合到Conv8_2中。第一融合模块输出的第一特征层、第二融合模块输出的第二特征层以及第三融合模块输出的第三特征层与Conv9_2、Conv10_2、Conv11_2共同输入至海洋生物识别算法模型进行预测训练。
图3是本发明实施例中的第一融合模块结构图，如图3所示：第一融合模块，包括：
步骤(1-1)：对Conv4_3、Conv7和Conv8_2特征层采用Conv1×1卷积降低特征维度；
步骤(1-2)：将Conv7和Conv8_2分别通过2倍和4倍的反卷积上采样，使Conv7和Conv8_2的特征尺度大小与Conv4_3保持一致；
具体的，通过反卷积上采样将Conv7和Conv8_2的特征尺度大小统一至38×38，与Conv4_3保持一致。
步骤(1-3)：将步骤(1-1)Conv1×1卷积处理得到的Conv4_3，与步骤(1-2)反卷积得到的Conv7和Conv8_2进行拼接融合；
具体的，将统一尺度后的特征图通过拼接进行融合，融合会带来一定混叠效应，降低了检测精度。
步骤(1-4)：引入3×3平滑层去除拼接融合带来的混叠效应；
步骤(1-5)：得到与Conv4_3特征尺度大小相同的第一特征层。
图4是本发明实施例中的第二融合模块结构图，如图4所示：第二融合模块，包括：
步骤(2-1)：对Conv4_3、Conv7和Conv8_2特征层采用Conv1×1卷积降低特征维度；
步骤(2-2)：将Conv4_3的特征尺度通过最大池化层减小为1/2，同时通过反卷积2倍上采样将Conv8_2的特征尺度扩大两倍，使处理后的Conv4_3和Conv8_2的特征尺度大小与Conv7保持一致，此时三层特征层的特征尺度均为19×19；
步骤(2-3)：将步骤(2-1)Conv1×1卷积处理得到的Conv7，与步骤(2-2)处理后得到的Conv4_3和Conv8_2进行拼接融合；
步骤(2-4)：引入3×3平滑层去除拼接融合带来的混叠效应；
步骤(2-5)：得到与Conv7特征尺度大小相同的第二特征层。
图5是本发明实施例中的第三融合模块结构图，如图5所示：第三融合模块，包括：
步骤(3-1)：对Conv4_3、Conv7和Conv8_2特征层采用Conv1×1卷积降低特征维度；
步骤(3-2)：采用最大池化层对Conv4_3和Conv7进行下采样，采样倍数分别为1/4和1/2，使处理后的Conv4_3和Conv7的特征尺度大小与Conv8_2保持一致；
步骤(3-3)：将步骤(3-1)Conv1×1卷积处理得到的Conv8_2，与步骤(3-2)处理后得到的Conv4_3和Conv7进行拼接融合；
步骤(3-4)：引入3×3平滑层去除拼接融合带来的混叠效应；
步骤(3-5)：得到与Conv8_2特征尺度大小相同的第三特征层。
作为一种和/或多种实施方式，将第一融合模块输出的第一特征层、第二融合模块输出的第二特征层以及第三融合模块输出的第三特征层记为F1、F2、F3，F1、F2、F3以及未融合增强的Conv9_2、Conv9_10、Conv11_2组成新的特征金字塔，新的特征金字塔的尺度大小与原特征金字塔保持一致，分别38×38、19×19、10×10、5×5、3×3、1×1。获取新的特征金字塔以后，需要根据特征尺度大小设置先验框，产生新的特征金字塔中六个特征图的若干先验框。
具体的，先验框按照下列公式线性增加尺度：
Figure BDA0002918990670000091
其中，m指从第二层开始计数的特征图个数，第一层单独设置，sk表示先验框相对于图片的比例，smax和smin表示比例的最大值和最小值，分别取为0.9和0.2
第一个特征图需要单独设计，根据先验知识设置尺度比例sk为0.1，因此其大小为300×0.1＝30；后面先验框尺度则按照上述公式线性增加，可以得到六层特征金字塔的先验框尺度分别为30、60、111、162、213、264，然后按照长宽比设置先验框的长度和宽度，比例范围可取{1，2，3，1/2，1/3}，最后对特征金字塔中六个特征图的每个像素点分别取6，6，6，6，4，4个不同长宽的先验框，共产生38×38×6+19×19×6+10×10×6+5×5×6+3×3×4+1×1×4＝11620个不同的先验框，用于后续的匹配。
将生成的先验框和标记好的真实框groudtruth按照IOU进行匹配；若IOU大于设定的阈值，则生成的先验框为正样本，否则，为负样本；并按照正样本与负样本所设定的比例构成样本集，将样本集输入海洋生物识别算法模型进行训练。
具体的，将这些生成的先验框和标记好的真实框groudtruth按照IOU进行匹配，如果iou大于0.5认为这些先验框标记为正样本，其余均为负样本，由于负样本过多会降低检测准确率，按照正负样本比例1：3选取出样本，然后将这些正负样本输入到网络进行训练。
作为一种和/或多种实施方式，训练改进的SSD算法；
具体的，由于特征提取网络与SSD保持一致，为VGG16，本实施例通过下载已经在Imagenet上预训练好的VGG16模型作为本实施例所提算法的初始数据，通过预训练好的模型作迁移学习，以此来加速训练并提高检测性能。使用pytorch等深度学习框架进行训练，按照最小批次32，权重衰减系数0.0005，初始学习率0.001，总迭代次数为40000设置初始参数，优化器选择小批量mini_bitch SGD，训练次数达到20000后学习率衰减为0.0001，30000此后衰减为0.00001。
S104：将测试样本集输入至训练好的海洋生物识别算法模型，输出生物识别结果。
作为一种和/或多种实施方式，对训练好的海洋生物识别算法模型进行测试；
具体的，测试选择AP指标作为检测的评价标准,AP指标的定义为
Figure BDA0002918990670000111
其中，P(R)表示精确率-召回率曲线；AP指标越高，检测性能越好，因此选取AP指标最高的模型最为最终的模型。图6(a)是本实施例中原始SSD的检测效果图，图6(b)是本实施例中采用本发明所述的海洋生物识别算法模型所得到的海洋生物检测效果图；原始SSD算法和最终改进SSD算法的区别图6(a)和图6(b)所示。
本发明在SSD算法中采用上下双向流特征融合的方式增加浅层特征层的语义信息，增加深层特征层的细节信息，提高SSD算法的准确率。
实施例二
本实施例提供了一种基于改进SSD算法的海洋生物识别系统，包括：
样本获取模块，其被配置为：获取用于海洋生物识别的训练样本集和测试样本集，并转化为深度学习框架可以直接读取的格式；
预处理模块，其被配置为：对训练样本集的图片进行预处理；
模型训练模块，其被配置为：提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测，得到训练好的海洋生物识别算法模型；
输出模块，其被配置为：将测试样本集输入至训练好的海洋生物识别算法模型，输出生物识别结果。
此处需要说明的是，上述样本获取模块、预处理模块、模型训练模块以及输出模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本实施例提供了一种计算机可读存储介质，用于存储计算机指令，该计算机指令被处理器执行时，完成实施例一所述的基于改进SSD算法的海洋生物识别方法的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现实施例一所述的基于改进SSD算法的海洋生物识别方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于改进SSD算法的海洋生物识别方法，其特征在于，包括：
获取用于海洋生物识别的训练样本集和测试样本集，并转化为深度学习框架可以直接读取的格式；
对训练样本集的图片进行预处理；
提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测，得到训练好的海洋生物识别算法模型；
将测试样本集输入至训练好的海洋生物识别算法模型，输出生物识别结果；
所述提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测具体包括：
第一融合模块，将Conv7和Conv8_2的特征信息融合到Conv4_3中；
第二融合模块，将Conv4_3和Conv8_2的特征信息融合到Conv7中；
第三融合模块，将Conv4_3和Conv7的特征信息融合到Conv8_2中；
所述第一融合模块输出的第一特征层、第二融合模块输出的第二特征层以及第三融合模块输出的第三特征层与Conv9_2、Conv10_2、Conv11_2共同输入至海洋生物识别算法模型进行预测；
所述第一融合模块，包括：
步骤(1-1)：对Conv4_3、Conv7和Conv8_2特征层采用Conv1×1卷积降低特征维度；
步骤(1-2)：将Conv7和Conv8_2分别通过2倍和4倍的反卷积上采样，使Conv7和Conv8_2的特征尺度大小与Conv4_3保持一致；
步骤(1-3)：将步骤(1-1)Conv1×1卷积处理得到的Conv4_3，与步骤(1-2)反卷积得到的Conv7和Conv8_2进行拼接融合；
步骤(1-4)：引入平滑层去除拼接融合带来的混叠效应；
步骤(1-5)：得到与Conv4_3特征尺度大小相同的第一特征层；
所述第二融合模块，包括：
步骤(2-1)：对Conv4_3、Conv7和Conv8_2特征层采用Conv1×1卷积降低特征维度；
步骤(2-2)：将Conv4_3的特征尺度通过最大池化层减小为1/2，同时通过反卷积2倍上采样将Conv8_2的特征尺度扩大两倍，使处理后的Conv4_3和Conv8_2的特征尺度大小与Conv7保持一致；
步骤(2-3)：将步骤(2-1)Conv1×1卷积处理得到的Conv7，与步骤(2-2)处理后得到的Conv4_3和Conv8_2进行拼接融合；
步骤(2-4)：引入平滑层去除拼接融合带来的混叠效应；
步骤(2-5)：得到与Conv7特征尺度大小相同的第二特征层；
所述第三融合模块，包括：
步骤(3-1)：对Conv4_3、Conv7和Conv8_2特征层采用Conv1×1卷积降低特征维度；
步骤(3-2)：采用最大池化层对Conv4_3和Conv7进行下采样，采样倍数分别为1/4和1/2，使处理后的Conv4_3和Conv7的特征尺度大小与Conv8_2保持一致；
步骤(3-3)：将步骤(3-1)Conv1×1卷积处理得到的Conv8_2，与步骤(3-2)处理后得到的Conv4_3和Conv7进行拼接融合；
步骤(3-4)：引入平滑层去除拼接融合带来的混叠效应；
步骤(3-5)：得到与Conv8_2特征尺度大小相同的第三特征层；
将第一融合模块输出的第一特征层、第二融合模块输出的第二特征层以及第三融合模块输出的第三特征层以及未融合增强的Conv9_2、Conv9_10、Conv11_2组成新的特征金字塔，所述新的特征金字塔需要根据特征尺度大小设置先验框，产生新的特征金字塔中六个特征图的若干先验框，将生成的先验框和标记好的真实框groudtruth按照IOU进行匹配；若IOU大于设定的阈值，则生成的先验框为正样本，否则，为负样本；并按照正样本与负样本所设定的比例构成样本集，将样本集输入海洋生物识别算法模型进行训练。
2.一种基于改进SSD算法的海洋生物识别系统，其特征在于，包括：
样本获取模块，其被配置为：获取用于海洋生物识别的训练样本集和测试样本集，并转化为深度学习框架可以直接读取的格式；
预处理模块，其被配置为：对训练样本集的图片进行预处理；
模型训练模块，其被配置为：提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测，得到训练好的海洋生物识别算法模型；
输出模块，其被配置为：将测试样本集输入至训练好的海洋生物识别算法模型，输出生物识别结果；
所述提取训练样本特征金字塔中的Conv4_3、Conv7、Conv8_2、Conv9_2、Conv10_2、Conv11_2，并输入至海洋生物识别算法模型进行预测具体包括：
第一融合模块，将Conv7和Conv8_2的特征信息融合到Conv4_3中；
第二融合模块，将Conv4_3和Conv8_2的特征信息融合到Conv7中；
第三融合模块，将Conv4_3和Conv7的特征信息融合到Conv8_2中；
所述第一融合模块输出的第一特征层、第二融合模块输出的第二特征层以及第三融合模块输出的第三特征层与Conv9_2、Conv10_2、Conv11_2共同输入至海洋生物识别算法模型进行预测；
所述第一融合模块，包括：
步骤(1-1)：对Conv4_3、Conv7和Conv8_2特征层采用Conv1×1卷积降低特征维度；
步骤(1-2)：将Conv7和Conv8_2分别通过2倍和4倍的反卷积上采样，使Conv7和Conv8_2的特征尺度大小与Conv4_3保持一致；
步骤(1-3)：将步骤(1-1)Conv1×1卷积处理得到的Conv4_3，与步骤(1-2)反卷积得到的Conv7和Conv8_2进行拼接融合；
步骤(1-4)：引入平滑层去除拼接融合带来的混叠效应；
步骤(1-5)：得到与Conv4_3特征尺度大小相同的第一特征层；
所述第二融合模块，包括：
步骤(2-1)：对Conv4_3、Conv7和Conv8_2特征层采用Conv1×1卷积降低特征维度；
步骤(2-2)：将Conv4_3的特征尺度通过最大池化层减小为1/2，同时通过反卷积2倍上采样将Conv8_2的特征尺度扩大两倍，使处理后的Conv4_3和Conv8_2的特征尺度大小与Conv7保持一致；
步骤(2-3)：将步骤(2-1)Conv1×1卷积处理得到的Conv7，与步骤(2-2)处理后得到的Conv4_3和Conv8_2进行拼接融合；
步骤(2-4)：引入平滑层去除拼接融合带来的混叠效应；
步骤(2-5)：得到与Conv7特征尺度大小相同的第二特征层；
所述第三融合模块，包括：
步骤(3-1)：对Conv4_3、Conv7和Conv8_2特征层采用Conv1×1卷积降低特征维度；
步骤(3-2)：采用最大池化层对Conv4_3和Conv7进行下采样，采样倍数分别为1/4和1/2，使处理后的Conv4_3和Conv7的特征尺度大小与Conv8_2保持一致；
步骤(3-3)：将步骤(3-1)Conv1×1卷积处理得到的Conv8_2，与步骤(3-2)处理后得到的Conv4_3和Conv7进行拼接融合；
步骤(3-4)：引入平滑层去除拼接融合带来的混叠效应；
步骤(3-5)：得到与Conv8_2特征尺度大小相同的第三特征层；
将第一融合模块输出的第一特征层、第二融合模块输出的第二特征层以及第三融合模块输出的第三特征层以及未融合增强的Conv9_2、Conv9_10、Conv11_2组成新的特征金字塔，所述新的特征金字塔需要根据特征尺度大小设置先验框，产生新的特征金字塔中六个特征图的若干先验框，将生成的先验框和标记好的真实框groudtruth按照IOU进行匹配；若IOU大于设定的阈值，则生成的先验框为正样本，否则，为负样本；并按照正样本与负样本所设定的比例构成样本集，将样本集输入海洋生物识别算法模型进行训练。
3.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时，完成如权利要求1所述的基于改进SSD算法的海洋生物识别方法的步骤。
4.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现如权利要求1所述的基于改进SSD算法的海洋生物识别方法中的步骤。
CN202110110444.0A 2021-01-27 2021-01-27 一种基于改进ssd算法的海洋生物识别方法及系统 Active CN112800952B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110110444.0A CN112800952B (zh) 2021-01-27 2021-01-27 一种基于改进ssd算法的海洋生物识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110110444.0A CN112800952B (zh) 2021-01-27 2021-01-27 一种基于改进ssd算法的海洋生物识别方法及系统

Publications (2)

Publication Number Publication Date
CN112800952A CN112800952A (zh) 2021-05-14
CN112800952B true CN112800952B (zh) 2022-09-16

Family

ID=75812085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110110444.0A Active CN112800952B (zh) 2021-01-27 2021-01-27 一种基于改进ssd算法的海洋生物识别方法及系统

Country Status (1)

Country Link
CN (1) CN112800952B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627299B (zh) * 2021-07-30 2024-04-09 广东电网有限责任公司 一种基于深度学习的导线漂浮物智能识别方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800628B (zh) * 2018-12-04 2023-06-23 华南理工大学 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN111222534B (zh) * 2019-11-15 2022-10-11 重庆邮电大学 一种基于双向特征融合和更平衡l1损失的单发多框检测器优化方法
CN111209887B (zh) * 2020-01-15 2023-04-07 西安电子科技大学 针对小目标检测的ssd模型优化方法
CN111860587B (zh) * 2020-06-12 2024-02-02 长安大学 一种用于图片小目标的检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685066A (zh) * 2018-12-24 2019-04-26 中国矿业大学(北京) 一种基于深度卷积神经网络的矿井目标检测与识别方法

Also Published As

Publication number Publication date
CN112800952A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN109190752B (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN108664981B (zh) 显著图像提取方法及装置
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN111209907B (zh) 一种复杂光污染环境下产品特征图像人工智能识别方法
CN114332133B (zh) 基于改进CE-Net的肺炎CT图像感染区分割方法及系统
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN112733929A (zh) 一种改进Yolo水下图像小目标和遮挡目标的检测方法
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN112927209A (zh) 一种基于cnn的显著性检测系统和方法
CN110659601A (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN113034506A (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN114612472A (zh) 一种基于SegNet改进的皮革缺陷分割网络算法
CN114913588A (zh) 一种应用于复杂场景下的人脸图像修复及识别方法
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN116977844A (zh) 一种轻量级水下目标实时检测方法
CN112800952B (zh) 一种基于改进ssd算法的海洋生物识别方法及系统
CN116912674A (zh) 基于改进的YOLOv5s网络模型复杂水环境下目标检测方法及系统
CN111368856A (zh) 一种基于视觉的图书盘点系统的书脊提取方法及装置
CN112991281B (zh) 视觉检测方法、系统、电子设备及介质
CN114155165A (zh) 一种基于半监督的图像去雾方法
CN117253071B (zh) 基于多级伪标签增强的半监督目标检测方法及系统
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN116309612B (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant