CN115049815A - 基于自注意力蒸馏和图像增强的水下目标检测方法及系统 - Google Patents

基于自注意力蒸馏和图像增强的水下目标检测方法及系统 Download PDF

Info

Publication number
CN115049815A
CN115049815A CN202210498288.4A CN202210498288A CN115049815A CN 115049815 A CN115049815 A CN 115049815A CN 202210498288 A CN202210498288 A CN 202210498288A CN 115049815 A CN115049815 A CN 115049815A
Authority
CN
China
Prior art keywords
underwater
target detection
self
image
distillation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210498288.4A
Other languages
English (en)
Inventor
汪晶晶
李勇
崔振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202210498288.4A priority Critical patent/CN115049815A/zh
Publication of CN115049815A publication Critical patent/CN115049815A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于自注意力蒸馏和图像增强的水下目标检测方法及系统，该方法包括步骤：构造目标检测模型，基于Yolov5网络，嵌入基于暗通道先验的水下图像增强模块；同时将自注意力蒸馏引入网络Yolov5，获取从后层到前层的反馈连接路径；对目标检测模型训练，获取满足精度要求的最优目标检测模型训练；采集图像输入至最优目标检测模型训练，进行水下水下目标检测。本发明提升水下目标检测网络的泛化性和鲁棒性，并解决现有水下目标检测网络提取的特征表征不够鲁棒，模型识别精度低等问题。

Description

基于自注意力蒸馏和图像增强的水下目标检测方法及系统
技术领域
本发明涉及水下目标检测技术领域，具体涉及一种基于自注意力蒸馏和图像增强的水下目标检测方法及系统。
背景技术
海洋资源开发成了我国越来越重要的任务，由于海洋环境复杂且充满不确定性，人员直接进入海洋进行勘探的风险较大。水下机器人因其可以代替人在危险的水下环境下进行作业倍受关注，机器人在水下作业时，依赖视觉系统感知水下环境。水下目标检测系统是水下机器人视觉系统的重要组成部分，其主要负责完成两类功能：水下图像增强和水下目标检测。水下目标检测的核心在于是对定位图像中的各类水下目标；然而，水下环境复杂多变，收集大量水下图像较为困难，同时收集到的图像存在图像模糊，分辨率低以及目标堆叠等情况导致水下机器人获得的图像难以直接满足实际需求，并在一定程度上影响了后续目标检测的准确性和效率。
基于改进SSD和迁移学习的水下目标检测方法(CN 111209952 A)、基于改进的YOLO算法的水下目标检测方法(CN 110765865 A)、一种基于Faster-RCNN的强负样本水下目标检测方法(CN 109165658 B)、一种基于CenterNet的轻量级水下目标检测方法(CN113420819 A)、基于小样本机器学习与超参数优化的水下目标检测方法(CN 113239980 A)和用于水下目标检测的检测网络的方法(CN 110956222 B)，这些水下目标检测方法的主要技术手段为：获取水下感知识别目标图像数据集A，将水下感知识别目标图像数据输入到深度神经网络，利用深度神经网络提取感知识别目标特征表征，最后获取感知识别目标的分类结果。例如：一种基于Faster-RCNN的强负样本水下目标检测方法(CN 109165658 B)方案中将水下目标图像输入卷积神经网络得到低维特征图，将低维特征图输入RPN网络得到正负样本，提取正负样本建议区域的特征；将获取的建议区域特征传入全连接层，输出该区域的分类结果。这些方法依赖于深度神经网络的特征表征能力，关注于水下图像的特征信息，而忽略深度神经网络特征层间信息，存在网络提取的特征表征不够鲁棒，模型识别精度低等问题。
发明内容
为了解决现有水下目标检测技术网络提取的目标特征不够鲁棒，模型识别精度低等问题，本发明提出一种基于自注意力蒸馏和图像增强的水下目标检测方法及系统，能够自适应地捕获不同层的特征注意力图编码的信息，监督深度神经网络并精确定位、识别目标位置。
实现本发明目的的技术解决方案为：一种基于自注意力蒸馏和图像增强的水下目标检测方法，包括步骤：
构造目标检测模型，基于Yolov5网络，嵌入基于暗通道先验的水下图像增强模块；同时将自注意力蒸馏引入网络Yolov5，获取从后层到前层的反馈连接路径；
对目标检测模型训练，获取满足精度要求的最优目标检测模型训练；
采集图像输入至最优目标检测模型训练，进行水下水下目标检测。
进一步的，所述水下图像增强模块进行图像增强的方法为：构建水下成像模型，用暗通道检测前0.1％最暗区域，将这些区域对应的输入图像像素值的平均值作为背景光的估计值，利用不同通道的衰减比率估计透射率图，进行水下图像初步增强；同时采用灰度世界算法进行颜色校正。
进一步的，所述水下成像模型为：
Iλ(x)＝Jλ(x)tλ(x)+Aλ(1-tλ(x))
其中，x为图像的像素点，λ为RGB三通道，Iλ(x)是浑浊图像，Jλ(x)是场景原图像，Aλ为背景光，tλ(x)是各通道透射率，Jλ(x)tλ(x)为直接照射分量，Aλ(1-tλ(x)为后向散射分量。
进一步的，所述各通道透射率tλ(x)为：
tλ(x)＝e-βλdλ(x)
其中，βλ为衰减系数，dλ(x)为景深。
进一步的，所述场景原图像Jλ(x)为：
Figure BDA0003634144600000021
其中，
Figure BDA0003634144600000022
为各通道透射率tλ(x)的估计值，为：
Figure BDA0003634144600000031
其中，Ω(x)是size×size的区域，Aλ是像素点x在λ通道的大气光值，Iλ(x)是像素点x在λ通道的浑浊图像。
进一步的，所述自注意力蒸馏具体为：
基于激活的自注意力蒸馏，生成映射函数G：
G:RCm×Hm×Wm→RCm×Hm
其中：Cm是通道，Hm是高度，Wm是宽度；
通过统计每个元素的绝对值构造函数：
Figure BDA0003634144600000032
Figure BDA0003634144600000033
Figure BDA0003634144600000034
其中，Ami表示Am在通道维度上的第i个切片，Gsum(Am)表示P＝1时通过求和构造的函数，
Figure BDA0003634144600000035
表示P>1时通过求和构造的函数，
Figure BDA0003634144600000036
时通过最大值构造的函数。
进一步的，所述目标检测模型训练的方法为：
获取不同拍摄条件下的水下感知识别目标图像数据集A，使用LabelImg进行数据标注，标注文件包括图片名称、图像尺寸、矩形边界框框坐标和感知识别目标类别；
将水下感知识别目标图像数据集A输入至目标检测模型进行迭代训练，直至获取满足精度要求的目标检测模型。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于自注意力蒸馏和图像增强的水下目标检测方法。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于自注意力蒸馏和图像增强的水下目标检测方法。。
与现有技术相比，本发明的有益效果在于：
(1)本发明设计了水下图像增强方法，利用不同通道的衰减比率估计透射率图，进行水下图像初步增强。采用灰度世界算法进行颜色校正改善图像色彩视效，有效提升画质和对比度，获得最佳水下图像增强效果；
(2)本发明将自注意力蒸馏引入水下目标检测网络，提供了从后层到前层的反馈连接路径，允许网络从后层注意力图中提取有助于前层学习的信息，这种连接有助于通过自注意力蒸馏促进连续层之间的互惠学习，利用网络自身的注意力图作为蒸馏目标，自适应捕获不同层的特征注意力图编码的信息，提高水下目标特征表征的鲁棒性和判别性；
(3)将图像增强和自注意力蒸馏嵌入到目标检测网络，实现了端到端的水下图像增强和目标检测，显著提升了水下感知识别目标的检测精度和速度，可提升水下目标检测网络的泛化性和鲁棒性，并解决现有水下目标检测网络提取的特征表征不够鲁棒，模型识别精度低等问题。
附图说明
图1为基于自注意力蒸馏和图像增强的水下目标检测方法流程图。
图2为基于自注意力蒸馏和图像增强的水下目标检测方法训练阶段示意图。
图3为基于自注意力蒸馏和图像增强的水下目标检测方法测试阶段示意图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于自注意力蒸馏和图像增强的水下目标检测方法，具体包括：
1.数据准备阶段
1.1搜集大量，不同拍摄条件下的水下感知识别目标图像数据集A，使用LabelImg进行数据标注，标注文件包括图片名称、图像尺寸、矩形边界框框坐标和感知识别目标类别等信息。
2.模型设计阶段
2.1设计基于暗通道先验的水下图像增强方法。
与雾形成原理相似，光遇到悬浮的颗粒和浮游生物发生散射造成水下图像浑浊，为此本发明设计一种基于暗通道先验的水下图像增强方法对水下图像进行预处理：用暗通道检测前0.1％最暗区域，这些区域对应的输入图像像素值的平均值作为背景光的估计值，利用不同通道的衰减比率估计透射率图，进行水下图像初步增强。采用灰度世界算法进行颜色校正改善图像色彩视效，有效提升画质和对比度，获得最佳水下图像增强效果。
水下图像浑浊与雾形成原理相似，均是可见光遇到悬浮的颗粒发生散射造成。针对该问题本发明提出一种基于暗通道先验的水下图像增强方法。水下成像模型可表示为：
Iλ(x)＝Jλ(x)tλ(x)+Aλ(1-tλ(x))
其中，x为图像的像素点，λ为RGB三通道，Iλ(x)是浑浊图像，Jλ(x)是场景原图像，Aλ为背景光，tλ(x)是各通道透射率，Jλ(x)tλ(x)为直接照射分量，Aλ(1-tλ(x)为后向散射分量。tλ(x)由衰减系数βλ和景深dλ(x)决定：
tλ(x)＝e-βλdλ(x)
考虑到阳光的存在，光源有背景光与阳光两部分组成，用暗通道
Figure BDA0003634144600000051
检测前0.1％最暗的区域，这些区域对应像素值的平均值作为背景光值
Figure BDA0003634144600000052
Figure BDA0003634144600000053
假设透射率在局部区域Ω(x)是个常量记作
Figure BDA0003634144600000054
Ω(x)是size×size的区域(取size＝15)，分别对两端计算暗通道：
Figure BDA0003634144600000055
统计发现清晰无浑浊的图像任何局部区域像素中至少有一个通道亮度很低：
Figure BDA0003634144600000056
以此估计各通道的透射率
Figure BDA0003634144600000057
为：
Figure BDA0003634144600000061
则场景原图像Jλ(x)：
Figure BDA0003634144600000062
Aλ是像素点x在λ通道的大气光值，Iλ(x)是像素点x在λ通道的浑浊图像，为改善图像色彩视效，同时采用灰度世界算法进行颜色校正。
2.2基于自注意力蒸馏的水下目标检测网络。
自注意力蒸馏分为基于激活的自注意力蒸馏和基于梯度的自注意力蒸馏。基于梯度的自注意力蒸馏，通过使用层的梯度输出获得自注意力图，很难取得理想的效果；而基于激活的自注意力蒸馏，通过处理特征层的激活获得自注意力图，在水下目标检测网络中产生了可观的效果。将自注意力蒸馏引入目标检测网络Yolov5预训练一个水下目标检测网络：当模型训练到合理水平时，来自不同层的特征注意力图将编码丰富的信息，这些信息无需额外的便签便可用作监督目标检测网络。本发明在目标检测网络中引入自注意力蒸馏，允许网络利用自身高层注意力图作为底层注意力图的蒸馏目标，增强主干网络的特征表达能力。基于激活的自注意力蒸馏，其自注意力图生成相当于寻找一个映射G：
G:RCm×Hm×Wm→RCm×Hm
其中：Cm是通道，Hm是高度，Wm是宽度；
映射函数中每个元素的绝对值代表了这个元素在最终输出中的重要性，通过统计每个元素的绝对值来构造函数：
Figure BDA0003634144600000063
Figure BDA0003634144600000064
Figure BDA0003634144600000065
其中，Ami表示Am在通道维度上的第i个切片，Gsum(Am)表示P＝1时通过求和构造的函数，
Figure BDA0003634144600000071
表示P>1时通过求和构造的函数，
Figure BDA0003634144600000072
时通过最大值构造的函数。P＞1，Ami表示Am在通道维度上的第i个切片。Gsum(Am)与
Figure BDA0003634144600000073
相比，
Figure BDA0003634144600000074
将更多的权重赋予具有更高激活的区域，P越大，对这些区域的关注越多，由经验可得P＝2时，性能提升的更大。
Figure BDA0003634144600000075
与Gsum(Am)相比，
Figure BDA0003634144600000076
计算跨多个神经元的权重，而不是选择这些神经元的最大值作为权重，偏差更小。
相对于直接使用标签来监督网络的每一层，自注意力蒸馏提供了从后层到前层的反馈连接路径，允许网络从后层注意力图中提取有助于前层学习的信息，这种连接有助于通过自注意力蒸馏促进连续层之间的互惠学习。
2.3将水下图像增强方法引入水下目标检测网络端到端训练深度神经网络M。
多步骤，多模型解决网络提取的特征表征不够鲁棒，模型识别精度低等问题时，某个模块的目标函数可能与系统的宏观目标有偏差，训练的检测系统没有达到最优的性能。采用Yolov5作为目标检测网络，在水下目标检测网络Yolov5中引入基于暗通道先验的水下图像增强方法，端到端训练基于自注意力蒸馏和图像增强的水下目标检测网络，规避多模块固有的缺陷，减少工程的复杂度。
3.模型训练阶段
3.1将步骤1.1获得的水下感知识别目标图像数据集A按照8：1：1分为训练集T，验证集V和测试集I；
3.2将训练集T输入到步骤2.3设计的端到端的模型M中进行模型训练。训练阶段同时使用验证集V验证模型训练效果，当模型M在验证集V上获得较好的效果且精度未随着训练过程提升时，停止训练；
3.3最终训练完成获得模型M’。
4.模型测试阶段
将水下图像测试集I输入训练完毕的模型M’，端到端检测感知识别目标，经测试，该模型提高了水下目标特征表征的鲁棒性和判别性。
一种基于自注意力蒸馏和图像增强的水下目标检测系统，包括数据采集模块和目标检测模型；所述数据采集模块用于采集水下目标图像数据，所述目标检测模型用于水下目标检测，其基于Yolov5网络，嵌入基于暗通道先验的水下图像增强模块；同时将自注意力蒸馏引入网络Yolov5，获取从后层到前层的反馈连接路径。该系统包含所述方法的全部技术特征，在此不再累述。

Claims (10)

1.一种基于自注意力蒸馏和图像增强的水下目标检测方法，其特征在于，包括步骤：
构造目标检测模型，基于Yolov5网络，嵌入基于暗通道先验的水下图像增强模块；同时将自注意力蒸馏引入网络Yolov5，获取从后层到前层的反馈连接路径；
对目标检测模型训练，获取满足精度要求的最优目标检测模型训练；
采集图像输入至最优目标检测模型训练，进行水下水下目标检测。
2.根据权利要求1所述的基于自注意力蒸馏和图像增强的水下目标检测方法，其特征在于，所述水下图像增强模块进行图像增强的方法为：构建水下成像模型，用暗通道检测前0.1％最暗区域，将这些区域对应的输入图像像素值的平均值作为背景光的估计值，利用不同通道的衰减比率估计透射率图，进行水下图像初步增强；同时采用灰度世界算法进行颜色校正。
3.根据权利要求2所述的基于自注意力蒸馏和图像增强的水下目标检测方法，其特征在于，所述水下成像模型为：
Iλ(x)＝Jλ(x)tλ(x)+Aλ(1-tλ(x))
其中，x为图像的像素点，λ为RGB三通道，Iλ(x)是浑浊图像，Jλ(x)是场景原图像，Aλ为背景光，tλ(x)是各通道透射率，Jλ(x)tλ(x)为直接照射分量，Aλ(1-tλ(x)为后向散射分量。
4.根据权利要求3所述的基于自注意力蒸馏和图像增强的水下目标检测方法，其特征在于，所述各通道透射率tλ(x)为：
Figure FDA0003634144590000013
其中，β为衰减系数，dλ(x)为景深。
5.根据权利要求3所述的基于自注意力蒸馏和图像增强的水下目标检测方法，其特征在于，所述场景原图像Jλ(x)为：
Figure FDA0003634144590000011
其中，
Figure FDA0003634144590000012
为各通道透射率tλ(x)的估计值，为：
Figure FDA0003634144590000021
其中，Ω(x)是size×size的区域，Aλ是像素点x在λ通道的大气光值，Iλ(x)是像素点x在λ通道的浑浊图像。
6.根据权利要求1所述的基于自注意力蒸馏和图像增强的水下目标检测方法，其特征在于，所述自注意力蒸馏具体为：
基于激活的自注意力蒸馏，生成映射函数G：
Figure FDA0003634144590000022
其中：Cm是通道，Hm是高度，Wm是宽度；
通过统计每个元素的绝对值构造函数：
Figure FDA0003634144590000023
Figure FDA0003634144590000024
Figure FDA0003634144590000025
其中，Ami表示Am在通道维度上的第i个切片，Gsum(Am)表示P＝1时通过求和构造的函数，
Figure FDA0003634144590000026
表示P>1时通过求和构造的函数，
Figure FDA0003634144590000027
时通过最大值构造的函数。
7.根据权利要求1所述的基于自注意力蒸馏和图像增强的水下目标检测方法，其特征在于，所述目标检测模型训练的方法为：
获取不同拍摄条件下的水下感知识别目标图像数据集A，使用LabelImg进行数据标注，标注文件包括图片名称、图像尺寸、矩形边界框框坐标和感知识别目标类别；
将水下感知识别目标图像数据集A输入至目标检测模型进行迭代训练，直至获取满足精度要求的目标检测模型。
8.一种基于自注意力蒸馏和图像增强的水下目标检测系统，其特征在于，包括数据采集模块和目标检测模型；所述数据采集模块用于采集水下目标图像数据，所述目标检测模型用于水下目标检测，其基于Yolov5网络，嵌入基于暗通道先验的水下图像增强模块；同时将自注意力蒸馏引入网络Yolov5，获取从后层到前层的反馈连接路径。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的基于自注意力蒸馏和图像增强的水下目标检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的基于自注意力蒸馏和图像增强的水下目标检测方法。
CN202210498288.4A 2022-05-09 2022-05-09 基于自注意力蒸馏和图像增强的水下目标检测方法及系统 Pending CN115049815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210498288.4A CN115049815A (zh) 2022-05-09 2022-05-09 基于自注意力蒸馏和图像增强的水下目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210498288.4A CN115049815A (zh) 2022-05-09 2022-05-09 基于自注意力蒸馏和图像增强的水下目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN115049815A true CN115049815A (zh) 2022-09-13

Family

ID=83157734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210498288.4A Pending CN115049815A (zh) 2022-05-09 2022-05-09 基于自注意力蒸馏和图像增强的水下目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN115049815A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152116A (zh) * 2023-04-04 2023-05-23 青岛哈尔滨工程大学创新发展中心 一种基于视觉自注意力模型的水下图像增强方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152116A (zh) * 2023-04-04 2023-05-23 青岛哈尔滨工程大学创新发展中心 一种基于视觉自注意力模型的水下图像增强方法

Similar Documents

Publication Publication Date Title
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN111046880A (zh) 一种红外目标图像分割方法、系统、电子设备及存储介质
CN103345631B (zh) 图像特征提取、训练、检测方法及模块、装置、系统
CN106407927A (zh) 基于偏振成像的适用于水下目标检测的显著性视觉方法
CN109800698A (zh) 基于深度网络的图标检测方法
CN114943893B (zh) 一种土地覆盖分类的特征增强方法
CN113435407B (zh) 一种输电系统的小目标识别方法及装置
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN108629790A (zh) 一种基于深度残差网络的光条图像阈值分割方法
CN113095441A (zh) 一种猪群扎堆检测方法、装置、设备及可读存储介质
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN114029943A (zh) 一种基于图像数据处理的目标抓取定位方法及系统
CN115049815A (zh) 基于自注意力蒸馏和图像增强的水下目标检测方法及系统
CN111814696A (zh) 一种基于改进YOLOv3的视频船舶目标检测方法
CN112200163B (zh) 水下底栖生物检测方法及系统
CN117079117B (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
Widyantara et al. Gamma correction-based image enhancement and canny edge detection for shoreline extraction from coastal imagery
CN116503567B (zh) 基于ai大数据的智慧建模管理系统
CN103177244A (zh) 水下显微图像中快速检测目标生物的方法
CN112329550A (zh) 基于弱监督学习的受灾建筑快速定位评估方法及装置
CN113781388A (zh) 基于图像增强的输电线路通道隐患图像识别方法及装置
Ullah et al. Real-time video dehazing for industrial image processing
CN117671472B (zh) 一种基于动态视觉传感器的水下多目标群体识别方法
CN117635619B (zh) 一种基于机器视觉的原木材积检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination