CN110956222B - 用于水下目标检测的检测网络的方法 - Google Patents

用于水下目标检测的检测网络的方法 Download PDF

Info

Publication number
CN110956222B
CN110956222B CN201911303406.6A CN201911303406A CN110956222B CN 110956222 B CN110956222 B CN 110956222B CN 201911303406 A CN201911303406 A CN 201911303406A CN 110956222 B CN110956222 B CN 110956222B
Authority
CN
China
Prior art keywords
output
target detection
constructing
input
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911303406.6A
Other languages
English (en)
Other versions
CN110956222A (zh
Inventor
王智慧
李豪杰
刘崇威
王世杰
唐涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911303406.6A priority Critical patent/CN110956222B/zh
Publication of CN110956222A publication Critical patent/CN110956222A/zh
Application granted granted Critical
Publication of CN110956222B publication Critical patent/CN110956222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机目标检测技术领域，提供了一种用于水下目标检测的检测网络的方法。两个轻量级的模块为基础构建神经网络，通过MFF与MBP模块搭建UnderwaterNet。前者加强了信息在一个模块之内的交互性与流动性，后者通过不同尺度的高斯模糊进行下采样，既加强了网络的平移不变性也产生了利于小目标检测的不同等级的模糊特征图。两者都具有轻量级与多尺度的特点，因而适合部署到水下机器人上，在保证速度的同时也能达到很高的精度，为水下目标检测任务提供了一种新的解决方案。

Description

用于水下目标检测的检测网络的方法
技术领域
本发明属于计算机目标检测技术领域，涉及一种用于水下目标检测的深度神经网络的方法。
背景技术
如今，随着对海洋探索的需求的增加，水下目标检测任务需求日益明显，水下目标检测的目标是识别水下图像中的生物并定位，例如：海洋牧场中水下抓捕机器人自动识别并定位海洋生物(海参，海胆，扇贝)等。近年来，卷积神经网络(CNNs)在计算机视觉任务中取得了显着成就，成为目标检测的主要方法。CNNs网络中不同级别的特征包含不同的信息，浅层特征富含图像细节，而深层特征具有更强的语义信息。最近，许多视觉识别相关研究证明，充分利用不同层次的特征可以有效地增强卷积神经网络(CNNs)的特征表示能力，例如：残差、门控和跳跃连接等特征分离模块被证明是非常有效的。除了生成更好的特征表示，还需要进一步探索如何有效的使用这些特征表示。现有的方法是将不同阶段的特征表示进行融合，使用单个分类器生成预测结果，但是即使使用这种特征聚合策略，这种方法也不能充分利用CNNs的潜力。如何获取CNNs不同级别的特征表示的潜力，并能够以自适应的方式使用这些特征表示对水下目标检测任务非常重要。
水下目标检测技术的相关研究现状如下：
在CNNs被大规模应用之前，检测器都是基于滑动窗口并辅以手工设计的特征(SIFT，HOG)来进行目标检测的。Mehdi等人同时利用Haar特征和物体形状特征来进行自动鱼类检测(Mehdi Ravanbakhsh,Mark R.Shortis,Faisal Shafait,Ajmal Mian,EuanS.Harvey,and James W.Seager.Automated fish detection in underwater imagesusing shape-based level sets.Photogrammetric Record,30(149):46–62,2015.)。随着CNNs的发展，基于CNN的检测器在物体检测领域取得了重大进步。现代基于CNN的目标检测方法大致可分为两阶段法和一阶段法。两阶段方法(R-CNN，R-FCN)首先产生预选框，然后确定物体的位置和类别。它们实现了最先进的性能，但需要大量的计算，不能满足实时性的要求。单阶段方法将选框和预测过程统一起来，使得检测器比两阶段方法更快。Redmon等提出了YOLO使用端到端CNN直接预测每个对象的类和位置，但YOLO与其他两阶段方法之间仍存在较大的精度差距。之后，SSD在某一层上分别采用锚和不同的比例来提高检测性能。近年来，出现了许多无锚的单阶段方法。受到以上方法的启发，Li等采用Fast R-CNN框架进行水下目标检测(Li Xiu,Shang Min,Hongwei Qin,and Liansheng Chen.Fast accurate fishdetection and recognition of underwater images with fast r-cnn.In Oceans,2016.)。
发明内容
本发明的目的是提供一个快速水下目标检测网络，通过不同感受野的特征相互融合，以提高检测结果的准确性。
本发明采用的技术方案如下：
一种用于水下目标检测的检测网络的方法，基于两个基本模块：MFF和MBP，基于这两个模块，提出了一个目标检测网络(UnderwaterNet)，如图1所示。MFF能够更好的融合不同尺度的特征，并能够更好地利用不同规模的信息，得到更加准确的预测；MBP能够通过不同程度的高斯模糊来增强网络对物体的平移不变性。
1)构建MFF模块，其结构如图1(c)所示。对于一个输入张量，首先通过一个1×1卷积层将这个输入的channel扩大N倍(N是kernel sequence中的数字个数，比如在图1(c)中，kernel sequence是[3,5,7]，N为3)。然后将输出沿channel轴等分为N组，命名为Gi,i∈{1,…,N}。之后每组都会被相应的深度可分离卷积Ki处理，Ki的核大小对应kernelsequence中的第i个数字。Ki的输出在被加上Gi+1之后被Ki+1处理。最后这些平行分支的输出被并联到一起然后再通过一个1×1卷积层降维得到最终输出。还在MFF内使用了两处跳跃连接，一处是在输入张量与张量之间；一处是在两个扩张张量之间。
2)构建MBP模块，其结构如图1(b)所示。对于一个输入张量，首先用一个步长为1的最大池化层对其进行处理，然后沿channel轴对输出进行3等分，对这3组依次进行核大小为3、5、7，步长为2的高斯模糊操作，最后将3组进行并联得到最终输出。
3)通过步骤1)、2)构建起来的MFF与MBP模块搭建UnderwaterNet，其结构如图1(a)所示。整个网络被分为编码和解码两个部分。对于编码器，使用步长为2的3×3的卷积作为第一层，然后是步长为1的3×3的卷积层。还利用了在第二个卷积层前后使用了跳跃连接。后4个Stage的结构是相同的，但配置不同。从Stage2到Stage4的kernel sequence都被设置为[3,5,7]，但是在Stage5中它们是[3,5,7,9]。在解码器中，使用3个解码器逐步将分辨率恢复到输入分辨率的四分之一。每个解码器由一个3×3卷积层和一个双线性上采样层组成。
4)采用CenterNet(Xingyi Zhou,Dequan Wang,and Philipp
Figure BDA0002322439640000031
Ob-jects as Points.arXiv e-prints,page arXiv:1904.07850,Apr 2019.)中提出的物体检测方案来进行目标检测。在3)中的网络搭建好之后，采用CenterNet中的无锚方法来构造头部。头部由3部分组成：HeatMap，预测一个物体的中心；WHMap，预测物体的宽度和高度的；OffsetMap，预测一个物体的预测中心和真实中心之间的偏移量。每一部分都是由一个3×3卷积、ReLU和另一个1×1卷积层组成的。损失函数也与CenterNet相同。
本发明的用于水下目标检测的深度神经网络的方法，以两个轻量级的模块(MFF、MBP)为基础构建神经网络，通过MFF与MBP模块搭建UnderwaterNet。前者加强了信息在一个模块之内的交互性与流动性，后者通过不同尺度的高斯模糊进行下采样，既加强了网络的平移不变性也产生了利于小目标检测的不同等级的模糊特征图。两者都具有轻量级与多尺度的特点，因而适合部署到水下机器人上，在保证速度的同时也能达到很高的精度，为水下目标检测任务提供了一种新的解决方案。
附图说明
图1为本发明的网络结构图，(a)为UnderwaterNet的整体结构图，(b)为MBP模块的结构图，(c)为MFF的结构图。
图2为UnderwaterNet的检测结果。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面对本发明的具体实施方式作进一步的详细描述。
在NVIDIATITAN XP GPU、Intel Xeon CPU E5-2680 v4上使用CUDA10.0和cuDNN7.3.1后端进行实施。的UnderwaterNet是在PyTorch上实现的。在训练和推理两方面的图像分辨率都是512×512。使用了带有Adam的Lookahead优化器，初始学习率设置为2.3e-5。批量大小为32。使用了零均值归一化、随机翻转、随机缩放(0.6到1.3之间)和裁剪来增加数据。使用UDD数据集作为UnderwaterNet的训练数据。UDD是一个真实海洋牧场目标检测数据集，包含有海参，海胆，扇贝三类检测目标共2227张图片(1827张训练，400张测试)。
我分别对MBP与MFF两模块进行消融实验以验证他们对UnderwaterNet的贡献。对于MBP，使用MaxPool和不同核大小的MaxBlurPool与MBP进行比较，如表1所示。由于抗混叠和多尺度，的方法比MaxPool高5.5％。的方法在单一核大小的MaxBlurPool中也获得了最高的精度，说明多级模糊策略对于目标检测是有益的。
表1不同池化策略的比较
Figure BDA0002322439640000051
对于MFF，与MobileNetv2中的块相比，使用了不同的核大小，并在MFF中添加了分支之间的跳跃连接。表2显示了不同设置的结果。对于MFF，第一行等于MobileNetv2中的块，第二行等于MixNet中的块，第三行是标准MFF块。可以看出，不同的核和跳跃连接操作比第一个操作的准确率提高了4.6％。这些改进来自于对多尺度感受野的利用和将信息流整合到一个块中。
表2不同设置下MFF块的结果
Figure BDA0002322439640000052
使用了一些实时方法来与UnderwaterNet进行比较。为了公平的比较，所有的模型都经过了从零开始收敛的训练，并且没有使用任何测试增强。训练和推断都在同一台服务器上进行。结果如表3所示。图2显示了UnderwaterNet的检测结果。
在所有的方法中，UnderwaterNet以最少的参数(只有1.3M)优于其他模型，并且在速度和精度之间做出了最好的权衡。它以48帧/秒的速度达到了47.4％的准确度，并且在海胆和扇贝上都取得了最高的精确度。相比与其他目标检测器，的检测器在数据集中获取了较高的准确率和较快的速度，这意味着本发明的方案可以很好地嵌入到机器人上以进行水下目标抓取。
表3为不同检测网络在UDD上的准确率
Figure BDA0002322439640000061
以上所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (1)

1.一种用于水下目标检测的检测网络的构建方法，其特征在于，所述的方法包括步骤：
1）构建MFF模块：对于一个输入张量，首先通过一个1×1卷积层将这个输入的通道扩大
Figure DEST_PATH_IMAGE004
倍，
Figure 678997DEST_PATH_IMAGE004
是核序列中的数字个数；然后将输出沿通道方向等分为
Figure 127296DEST_PATH_IMAGE004
组，命名为
Figure DEST_PATH_IMAGE006
；
Figure DEST_PATH_IMAGE008
直接被相应的深度可分离卷积
Figure DEST_PATH_IMAGE010
处理获得
Figure DEST_PATH_IMAGE012
，然后
Figure DEST_PATH_IMAGE014
的输出
Figure DEST_PATH_IMAGE016
在被加上
Figure DEST_PATH_IMAGE018
之后被相应的深度可分离卷积
Figure DEST_PATH_IMAGE020
处理获得
Figure DEST_PATH_IMAGE022
，
Figure 999044DEST_PATH_IMAGE014
，
Figure DEST_PATH_IMAGE024
的核大小对应核序列中的第
Figure DEST_PATH_IMAGE026
个数字；最后这些平行分支的输出
Figure DEST_PATH_IMAGE028
被并联到一起然后再通过一个1× 1卷积层降维得到输出张量；还在MFF内使用了两处跳跃连接，一处是经过1× 1卷积层降维得到的输出张量上叠加输入张量得到最终输出；一处是在平行分支的输出
Figure DEST_PATH_IMAGE030
被并联到一起获得的扩张张量上叠加
Figure DEST_PATH_IMAGE032
被并联到一起获得的扩张张量；
2）构建MBP模块：对于一个输入张量，首先用一个步长为1的最大池化层对其进行处理，然后沿通道方向对输出进行3等分，对这3组依次进行核大小为3、5、7，步长为2的高斯模糊操作，最后将3组进行并联得到最终输出；
3）通过步骤1）、2）构建起来的MFF与MBP模块搭建UnderwaterNet；整个网络被分为编码和解码两个部分；对于编码器，使用步长为2的3×3的卷积作为第一层，然后是步长为1的3×3的卷积层；还利用了在第二个卷积层前后使用了跳跃连接；后4个Stage的结构是相同的，但配置不同；从Stage2到Stage4的核序列都被设置为[3,5,7]，在Stage5中它们是[3,5,7,9]；在解码器中，使用3个解码器逐步将分辨率恢复到输入分辨率的四分之一；每个解码器由一个3×3卷积层和一个双线性上采样层组成；三个解码器分别命名为Decoder1、Decoder2、和Decoder3；Decoder1接收Stage5的输出；Decoder1的输出和Stage4的输出叠加作为Decoder2的输入；Decoder2的输出和Stage3的输出叠加作为Decoder3的输入；
4）在步骤3）中的网络搭建好之后，采用CenterNet中的无锚方法来构造头部；头部由3部分组成：HeatMap，预测一个物体的中心；WHMap，预测物体的宽度和高度的；OffsetMap，预测一个物体的预测中心和真实中心之间的偏移量；每一部分都是由一个3×3卷积、ReLU和另一个1×1卷积层组成的；损失函数也与CenterNet相同；Decoder3的输出和Stage2的输出叠加作为头部的输入。
CN201911303406.6A 2019-12-17 2019-12-17 用于水下目标检测的检测网络的方法 Active CN110956222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911303406.6A CN110956222B (zh) 2019-12-17 2019-12-17 用于水下目标检测的检测网络的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911303406.6A CN110956222B (zh) 2019-12-17 2019-12-17 用于水下目标检测的检测网络的方法

Publications (2)

Publication Number Publication Date
CN110956222A CN110956222A (zh) 2020-04-03
CN110956222B true CN110956222B (zh) 2021-11-19

Family

ID=69982340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911303406.6A Active CN110956222B (zh) 2019-12-17 2019-12-17 用于水下目标检测的检测网络的方法

Country Status (1)

Country Link
CN (1) CN110956222B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523486B (zh) * 2020-04-24 2022-05-17 重庆理工大学 一种基于改进CenterNet的机械臂抓取检测方法
CN111553348A (zh) * 2020-04-26 2020-08-18 中南大学 一种基于centernet的anchor-based目标检测方法
US11763426B2 (en) * 2020-05-03 2023-09-19 Shiwei Liu Marine survey image enhancement system
CN111814863A (zh) * 2020-07-03 2020-10-23 南京信息工程大学 一种轻量级车辆与行人的检测方法
CN117172411A (zh) * 2023-09-06 2023-12-05 江苏省气候中心 一种全天候蓝藻水华实时自动判识预警方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072636A (ja) * 2006-09-15 2008-03-27 Nagaoka Univ Of Technology 画像処理システム、画像処理方法、及びプログラム
CN104820966A (zh) * 2015-04-30 2015-08-05 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法
CN104820993A (zh) * 2015-03-27 2015-08-05 浙江大学 一种联合粒子滤波和跟踪置前检测的水下弱目标跟踪方法
CN106845372A (zh) * 2016-12-31 2017-06-13 华中科技大学 一种星载遥感光学图像的船舶目标检测识别方法和系统
CN109635656A (zh) * 2018-11-12 2019-04-16 平安科技（深圳）有限公司 基于神经网络的车辆属性识别方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018175772A1 (en) * 2017-03-23 2018-09-27 Harsco Technologies LLC Track feature detection using machine vision

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072636A (ja) * 2006-09-15 2008-03-27 Nagaoka Univ Of Technology 画像処理システム、画像処理方法、及びプログラム
CN104820993A (zh) * 2015-03-27 2015-08-05 浙江大学 一种联合粒子滤波和跟踪置前检测的水下弱目标跟踪方法
CN104820966A (zh) * 2015-04-30 2015-08-05 河海大学 一种空时配准解卷积的非同步多视频超分辨率方法
CN106845372A (zh) * 2016-12-31 2017-06-13 华中科技大学 一种星载遥感光学图像的船舶目标检测识别方法和系统
CN109635656A (zh) * 2018-11-12 2019-04-16 平安科技（深圳）有限公司 基于神经网络的车辆属性识别方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Investigation of Vision-Based Underwater Object Detection with Multiple Datasets;Dario Lodi Rizzini 等;《International Journal of Advanced Robotic Systems》;20150101;第1-13页 *
Making Convolutional Networks Shift-Invariant Again;Richard Zhang;《https://arxiv.org/abs/1904.11486?utm_source=aidigest&utm_medium&utm_campaign=63》;20190425;第1-11页 *
Objects as Points;Xingyi Zhou 等;《https://arxiv.org/abs/1904.07850》;20190416;第1-13页 *

Also Published As

Publication number Publication date
CN110956222A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
CN110956222B (zh) 用于水下目标检测的检测网络的方法
Wang et al. Fadnet: A fast and accurate network for disparity estimation
US20220004744A1 (en) Human posture detection method and apparatus, device and storage medium
CN111091130A (zh) 基于轻量级卷积神经网络的实时图像语义分割方法及系统
CN109993100B (zh) 基于深层特征聚类的人脸表情识别的实现方法
Dai et al. Adaptive disparity candidates prediction network for efficient real-time stereo matching
CN112288776B (zh) 一种基于多时间步金字塔编解码器的目标跟踪方法
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
Liu et al. Two-stage underwater object detection network using swin transformer
Zhou et al. Collision-free waterway segmentation for inland unmanned surface vehicles
CN113066089B (zh) 一种基于注意力引导机制的实时图像语义分割方法
Zhang et al. Underwater target detection algorithm based on improved YOLOv4 with SemiDSConv and FIoU loss function
Wang et al. A novel attention-based lightweight network for multiscale object detection in underwater images
Zhao et al. Single-branch self-supervised learning with hybrid tasks
CN116934796A (zh) 基于孪生残差注意力聚合网络的视觉目标跟踪方法
CN116630850A (zh) 基于多注意力任务融合与边界框编码的孪生目标跟踪方法
CN115797827A (zh) 一种基于双流网络架构的ViT的人体行为识别方法
Cheng et al. Solving monocular sensors depth prediction using MLP-based architecture and multi-scale inverse attention
CN112800932B (zh) 海上背景下显著船舶目标的检测方法及电子设备
Du et al. PSCNET: Efficient RGB-D semantic segmentation parallel network based on spatial and channel attention
Chen et al. Towards pedestrian target detection with optimized mask R-CNN
Li et al. Underwater object detection based on improved SSD with convolutional block attention
Wen et al. Underwater target detection based on modified YOLOv5
CN115115698A (zh) 设备的位姿估计方法及相关设备
Xu et al. Fam: Fully attention module for medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant