CN116206196A - 一种海洋低光环境多目标检测方法及其检测系统 - Google Patents

一种海洋低光环境多目标检测方法及其检测系统 Download PDF

Info

Publication number
CN116206196A
CN116206196A CN202310466248.6A CN202310466248A CN116206196A CN 116206196 A CN116206196 A CN 116206196A CN 202310466248 A CN202310466248 A CN 202310466248A CN 116206196 A CN116206196 A CN 116206196A
Authority
CN
China
Prior art keywords
feature
event
light environment
feature vectors
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310466248.6A
Other languages
English (en)
Other versions
CN116206196B (zh
Inventor
姜宇
王跃航
齐红
赵明浩
张凯欣
张永霁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202310466248.6A priority Critical patent/CN116206196B/zh
Publication of CN116206196A publication Critical patent/CN116206196A/zh
Application granted granted Critical
Publication of CN116206196B publication Critical patent/CN116206196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于水下视觉检测的技术领域，具体涉及一种海洋低光环境多目标检测方法及其检测系统。建水下跨模态基准数据集；得到三层不同尺度的特征向量；进行特征排序和数据融合；通过深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。本发明用以实现水下生物多目标高精度的检测任务。

Description

一种海洋低光环境多目标检测方法及其检测系统
技术领域
本发明属于水下视觉检测的技术领域，具体涉及一种海洋低光环境多目标检测方法及其检测系统。
背景技术
对于动态的水下任务，目前流行的视觉传感器（例如单目视觉、立体视觉、红外相机、激光雷达等）受限于高成本，高延迟、低精度的影响，很难稳定精准地检测海洋目标。此外，由于水下通信受限以及水下高压等因素的影响，鲁棒性地仅基于RGB视觉相机完成海洋目标检测行为是一项巨大的挑战。相反，事件相机，作为一种新颖的仿生学的动态视觉传感器，通过异步方式触发事件流，本质上不同于RGB相机的方式表达视觉信息，有望实现传感器视觉的范式转变。具体来说，事件相机不以固定相机帧率的方式获取静态场景信息来编码动态视觉场景，而是通过异步事件的编码创造了动态场景的稀疏时空表示。每个事件都表明局部位置的亮度变化情况。因此，事件相机具有低功耗、高动态范围（140db vs 60 db对于传统RGB相机），以及高时间分辨率（微秒级）的优点。事件相机解决了在挑战性场景下视觉智能感知日益增长的需求，并实现了诸多用例，例如场景重建、运动分割、目标检测、视觉里程计和SLAM等。然而，事件相机的潜力在复杂的海洋领域还未被充分挖掘，尤其对于水下生物多目标高精度检测任务。
发明内容
本发明提供一种海洋低光环境多目标检测方法，用以实现对水下生物多目标的检测识别。
本发明提供一种基于跨模态数据的海洋低光环境多目标检测系统，用以实现水下生物多目标高精度的检测任务。
本发明提供一种电子设备。
本发明提供一种计算机可读存储介质。
本发明通过以下技术方案实现：
一种海洋低光环境多目标检测方法，所述海洋低光环境多目标检测方法具体为，
步骤1、利用事件相机采集的水下低光环境事件流和对应的RGB帧构建水下跨模态基准数据集；
步骤2、利用事件编码器和帧编码器对事件流和RGB帧进行特征编码，分别得到三层不同尺度的特征向量；
步骤3、利用自适应选择和融合模块对步骤2中三层不同尺度的特征向量进行特征排序和数据融合；
步骤4、将步骤3三层不同尺度的融合特征送入深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；
步骤5、将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。
一种海洋低光环境多目标检测方法，所述步骤1具体包括以下步骤，
步骤1.1、根据水下低光环境事件流数据，使用体素网格的方式进行对事件流数据的表征，使原始事件流得以三维体素化，得到事件体素网格；
步骤1.2、根据水下低光环境RGB图像数据，筛选出特征显著的RGB图像数据，筛选出具有典型特征的水下低光图像数据；
步骤1.3、根据步骤1.2所筛选出的具有典型特征的水下低光图像数据，划分时间序列；
步骤1.4、将表征后的事件数据按照步骤1.3中的时间戳集合进行提取，得到在时间维度上配对的事件体素网格和RGB图像数据；
步骤1.5、针对步骤1.4的事件体素网格和RGB图像数据，获取数据中海洋目标的边界框位置和类别信息；
步骤1.6、将步骤1.4的事件体素网格、RGB图像数据以及步骤1.5中获取的边界框位置和类别信息作为有监督学习模型训练使用的数据集。
一种海洋低光环境多目标检测方法，所述步骤1.2的筛选方式为人工筛选；
所述步骤1.5获取的数据中海洋目标的边界框位置和类别信息的标注方式为专家人工标注，同时边界框位置和类别信息作为有监督学习的标签数据使用。
一种海洋低光环境多目标检测方法，所述步骤2具体包括以下步骤，
步骤2.1、将事件体素网格输入到事件编码器中，得到三个不同尺度大小的事件特征向量；
步骤2.2、将RGB图像数据按步骤2.1的顺序同步输入到对应的帧编码器中，得到三个不同尺度大小的图像特征向量。
一种海洋低光环境多目标检测方法，所述步骤3通过以下方式实现：
步骤3.1、在三个尺度上分别执行如下操作：将对应尺度的事件特征向量和图像特征向量共同输入到可学习的自适应选择和融合模块，并在模块开始的时候，进行通道降维操作，以降低计算量，得到事件特征向量和图像特征向量两个分支的降维后的对应特征向量；
步骤3.2、将事件特征向量和图像特征向量两个分支相互并行地依次通过卷积层、自注意力机制层、不同池化层以及进行激活函数响应的操作，生成两个分支各自的特征注意力权重图；
步骤3.3、将两分支的注意力权重图共同进行逐通道置信度排序和选择操作，构建置信度集合；在通道维度上计算置信度集合的中位数，并作为特征显著性与特征选择的显著性阈值；
步骤3.4、定义两个重要超参数，放大因子和低置信度因子；
步骤3.5、将排序和选择后的两个分支注意力权重图与自适应选择和融合模块最初降维后的对应特征向量逐元素相乘，得到两个分支新的匹配自适应权重的特征向量；
步骤3.6、将两个分支新的匹配自适应权重的特征向量进行通道合并操作，形成融合特征；随后进行升维操作，恢复到原始输入的大小，进而得到最终的融合特征向量。
一种海洋低光环境多目标检测方法，所述步骤3.4具体为，将步骤3.3中大于显著性阈值的注意力权重图的对应通道与放大因子相乘，以放大显著性通道的特征权重；
将小于显著性阈值的注意力权重图的对应通道与缩小因子相乘，以降低弱相关通道的特征权重，为如下公式：
Figure SMS_1
，
式中，
Figure SMS_2
代表排序后的注意力权重图的第/>
Figure SMS_3
个通道，D代表显著性阈值，/>
Figure SMS_4
代表放大因子，/>
Figure SMS_5
代表缩小因子。
一种海洋低光环境多目标检测方法，所述步骤4具体为，
将三个尺度的事件特征向量和图像特征向量经由步骤3得到三个尺度的融合特征共同输入到深度特征提取模块，在全局、局部以及通道维度上进一步提取每个尺度下的深度特征信息。输出为三个不同尺度进一步提取的深度特征向量。
一种基于跨模态数据的海洋低光环境多目标检测系统，所述海洋低光环境多目标检测系统使用如上述的海洋低光环境多目标检测方法，所述海洋低光环境多目标检测系统包括，
水下跨模态基准模块，利用事件相机采集的水下低光环境事件流和对应的RGB帧构建水下跨模态基准数据集；
编码器模块，利用事件编码器和帧编码器对事件流和RGB帧进行特征编码，分别得到三层不同尺度的特征向量；
融合特征模块，利用自适应选择和融合模块对三层不同尺度的特征向量进行特征排序和数据融合；
重要特征信息提取模块，将步骤3三层不同尺度的融合特征送入深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；
输出模块，将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。
一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
本发明的有益效果是：
本发明利用跨模态数据，实现对水下生物多目标的检测识别。
附图说明
图1是本发明的方法流程图。
图2是本发明可学习的自适应选择和融合模块的流程示意图。
图3是本发明的深度特征提取模块的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种海洋低光环境多目标检测方法，所述海洋低光环境多目标检测方法具体为，
步骤1、利用事件相机采集的水下低光环境事件流和对应的RGB帧构建水下跨模态基准数据集；
所述的事件相机可以是不同的设备，如：DAVIS 346 Color、CeleX5_MP、PropheseeEVK1 Gen4HD等。事件相机在对数空间上，通过与场景的相对运动以异步的方式触发微秒级的事件流数据。所述的低光环境可以为自然光源不足的海洋水下环境，也可以为水下人造光源的弱光场景等。
步骤2、利用事件编码器和帧编码器对事件流和RGB帧进行特征编码，分别得到三层不同尺度的特征向量；
其中，事件编码器和帧编码器可以为实现特征提取功能的任意网络模块，例如ResNet-50网络。通过有监督学习，训练事件编码器和帧编码器。在推理阶段，将训练好的事件和帧编码器权重固定，实现对事件体素网格和RGB图像的特征提取。
步骤3、利用可学习的自适应选择和融合模块对步骤2中三层不同尺度的特征向量进行特征排序和数据融合；
步骤4、将步骤3三层不同尺度的融合特征送入深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；
步骤5、将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。
更具体的，使用事件相机在目标场景进行数据采集，得到低光照目标场景的事件流数据以及对应的RGB图像。一种海洋低光环境多目标检测方法，所述步骤1具体包括以下步骤，
步骤1.1、根据水下低光环境事件流数据，使用体素网格的方式进行对事件流数据的表征，使原始事件流得以三维体素化，得到事件体素网格；进而可以输入到深度学习算法，进行有监督学习训练；
步骤1.2、根据水下低光环境RGB图像数据，以人工筛选的方式筛选出特征显著的RGB图像数据，同时筛选出具有典型特征的水下低光图像数据，进而提高训练数据的质量；
步骤1.3、根据步骤1.2所筛选出的具有典型特征的水下低光图像数据，划分时间序列，构成以微秒为尺度的时间戳集合；
步骤1.4、将表征后的事件体素网格按照步骤1.3中的时间戳集合进行选择，过滤不在这个集合中的事件体素网格。余下的事件体素网格在微秒级的时间上严格与步骤1.3中的RGB图像对齐；
步骤1.5、针对步骤1.4对齐的事件体素网格和RGB图像数据，获取数据中海洋目标的边界框位置和类别信息；进而，完成深度学习模型所需要的完整的数据集；
步骤1.6、将步骤1.4的事件体素网格、RGB图像数据以及步骤1.5中获取的边界框位置和类别信息，作为有监督学习模型训练使用的数据集。所述有监督学习模型训练使用的数据集在剔除无效和冗余数据后，按照8：2的比例划分训练集与测试集。
示例性的，基于事件数据的事件表征方式为体素网格形式，其计算公式为：
Figure SMS_6
,
Figure SMS_7
.
式中，
Figure SMS_8
为经过体素网格表征后的事件窗口，其输入为事件四元组：
Figure SMS_9
，分别代表第/>
Figure SMS_10
个事件的坐标、时间戳和极性，/>
Figure SMS_11
为对事件进行体素化时所划分的段数。其中，/>
Figure SMS_12
为正则化的时间戳，/>
Figure SMS_13
代表当前事件窗口的最大时间戳与最小时间戳之间的差值。
一种海洋低光环境多目标检测方法，所述步骤1.2的筛选方式为人工筛选；
所述步骤1.5获取的数据中海洋目标的边界框位置和类别信息的标注方式为专家人工标注，同时边界框位置和类别信息作为有监督学习的标签数据使用。
一种海洋低光环境多目标检测方法，所述步骤2具体包括以下步骤，
步骤2.1、将事件体素网格输入到事件编码器中，得到三个不同尺度大小的事件特征向量；
步骤2.2、将RGB图像数据按步骤2.1的顺序同步输入到对应的帧编码器中，得到三个不同尺度大小的图像特征向量。
一种海洋低光环境多目标检测方法，具体的，如图2所示，将经过步骤2得到的事件特征向量和RGB特征向量共同送入自适应选择和融合模块。
需要说明的是，一方面该模块是可微分的，因此可以使用深度学习方法将损失进行反向传播训练，即这个模块是可学习的；另一方面，该模块通过显著性权重自适应匹配实现特征在通道维度上的置信度排序和选择，因此可以通过训练，实现对事件和帧两个分支的特征筛选，提高显著特征的权重，抑制弱相关特征权重，即这个过程也是可学习的。所述步骤3通过以下方式实现：
步骤3.1、在三个尺度上分别执行如下操作：将对应尺度的事件特征向量和图像特征向量共同输入到可学习的自适应选择和融合模块，并在模块开始的时候，进行通道降维操作，以降低计算量，得到事件特征向量和图像特征向量两个分支的降维后的对应特征向量；
具体的，通道降维以降低计算量，可通过卷积核大小为
Figure SMS_14
的卷积操作实现。通过预先定义的卷积输出通道维数，实现特征向量的压缩，进而减少该模块后续过程的计算量，也避免因大尺度矩阵运算，导致模型训练和推理时间延长。
步骤3.2、将事件特征向量和图像特征向量两个分支相互并行地依次通过卷积层、自注意力机制层、不同池化层以及进行激活函数响应的操作，生成两个分支各自的特征注意力权重图；
具体的，所述卷积层的卷积核大小均为
Figure SMS_15
，实现对特征的初步提取与映射。所述的自注意力机制层可实现对特征的进一步提取，实现在空间语义上长距离关注。所述的不同池化层为：全局平均池化和最大池化。两个池化操作同时进行，并将各自输出的特征逐像素相加，得到初始特征注意力权重图。所述的激活响应函数不局限于某种特定激活函数，可根据具体场景和任务进行定制或选择，例如可选择ReLU激活函数作为该模块的激活响应函数。通过上述过程，得到两个分支各自的特征注意力权重图。此时，每一分支的特征注意力权重图的空间维度为/>
Figure SMS_16
，其中/>
Figure SMS_17
为通道数，/>
Figure SMS_18
为特征注意力权重图的长和宽。
步骤3.3、将两分支的注意力权重图共同进行逐通道置信度排序和选择操作，构建置信度集合；在通道维度上计算置信度集合的中位数，并作为特征显著性与特征选择的显著性阈值；
需要说明的是，对特征注意力权重图排序和选择均是在通道维度上进行。所述的置信度为每个通道的权重值，所有特征通道的权重值共同构建置信度集合。有必要提及的是，这里仅对特征注意力权重图的逐通道权重值按索引进行排序，所构建的置信度集合也是索引的集合，并不改变特征注意力权重图的通道权重值的实际上下文顺序。
步骤3.4、定义两个重要超参数，放大因子和低置信度因子；
步骤3.5、将排序和选择后的两个分支注意力权重图与自适应选择和融合模块最初降维后的对应特征向量逐元素相乘，得到两个分支新的匹配自适应权重的特征向量；
需要说明的是，排序和选择后的每个分支注意力权重图的上下文顺序并没有改变，仅将逐通道的权重值进行了自适应重匹配。具体的，该模块的整个过程都仅是对索引的排序和选择，并不实际改变通道权重值的上下文关系，因此将每个分支的注意力权重图与最初降维后的特征向量进行逐元素相乘，可以为最初降维后的特征向量进行权重重匹配，即实现放大显著性通道而抑制弱相关通道的效果。
步骤3.6、将两个分支新的匹配自适应权重的特征向量进行通道合并操作，形成融合特征；随后进行升维操作，恢复到原始输入的大小，进而得到最终的融合特征向量。
具体的，所述的升维操作可以使用卷积核大小为
Figure SMS_19
的卷积操作实现。
一种海洋低光环境多目标检测方法，所述步骤3.4具体为，将步骤3.3中大于显著性阈值的注意力权重图的对应通道与放大因子相乘，以放大显著性通道的特征权重；
同理，将小于显著性阈值的注意力权重图的对应通道与缩小因子相乘，以降低弱相关通道的特征权重，以实现对两分支各自显著性特征与弱相关特征进行区分的效果；这个过程可组织为如下公式：
Figure SMS_20
，
式中，
Figure SMS_21
代表排序后的注意力权重图的第/>
Figure SMS_22
个通道，D代表显著性阈值，/>
Figure SMS_23
代表放大因子，/>
Figure SMS_24
代表缩小因子。
一种海洋低光环境多目标检测方法，需要说明的是，事件特征分支和RGB特征分支经过步骤3融合为统一分支，即各自分支的各自尺度进行融合，最终构成统一融合分支的三个不同尺度特征向量。
具体的，如图3所示，将融合分支的三个尺度输入到深度特征提取模块的对应层，每个层分别输出进一步提取到的特征向量。
还需注意的是，深度特征提取模块的第三尺度层不包含多尺度特征聚合模块，其他结构每层均相同。其中，所述的多尺度聚合模块可实现对两个尺度特征的聚合，输出一个聚合后的特征。图中所述的空间注意力模块可以在全局角度上实现特征的关注与显著特征激活。图3中所述的CSP块作为特征提取器，实现对特征的提取，可以为任意其他类型的特征提取器。这里选择YOLOx中的CSP模块作为本模块的特征提取器，可实现类似效果。图3中所述的多轴Transformer可以实现对特征全局和局部的提取与关注。
所述步骤4具体为，
将三个尺度的事件特征向量和图像特征向量经由步骤3得到三个尺度的融合特征共同输入到深度特征提取模块，在全局、局部以及通道维度上进一步提取每个尺度下的深度特征信息。输出为三个不同尺度进一步提取的深度特征向量。
所述步骤5需要说明的是，检测头网络模块可以为任意能够实现该功能的模型，例如YOLOx的检测头模块。通过检测头网络模块，可输出低光海洋场景下的生物目标的位置检测框、类别以及置信度。置信度为一个概率值，代表为该类别的置信程度。
一种基于跨模态数据的海洋低光环境多目标检测系统，所述海洋低光环境多目标检测系统使用如上述的海洋低光环境多目标检测方法，所述海洋低光环境多目标检测系统包括，
水下跨模态基准模块，利用事件相机采集的水下低光环境事件流和对应的RGB帧构建水下跨模态基准数据集；
编码器模块，利用事件编码器和帧编码器对事件流和RGB帧进行特征编码，分别得到三层不同尺度的特征向量；
融合特征模块，利用可学习的自适应选择和融合模块对三层不同尺度的特征向量进行特征排序和数据融合；
重要特征信息提取模块，将步骤3三层不同尺度的融合特征送入深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；
输出模块，将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。
一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。
一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasablePROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM 可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（dynamic RAM，DRAM）、同步动态随机存取存储器（synchronousDRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDRSDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambusRAM，DR RAM）。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，高密度数字视频光盘（digital video disc，DVD））、或者半导体介质（例如，固态硬盘（solid state disc，SSD））等。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软 件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

Claims (10)

1.一种海洋低光环境多目标检测方法，其特征在于，所述多目标检测方法具体为，
步骤1、利用事件相机采集的水下低光环境事件流和对应的RGB帧构建水下跨模态基准数据集；
步骤2、利用事件编码器和帧编码器对事件流和RGB帧进行特征编码，分别得到三层不同尺度的特征向量；
步骤3、利用自适应选择和融合模块对步骤2中三层不同尺度的特征向量进行特征排序和数据融合；
步骤4、将步骤3三层不同尺度的融合特征送入深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；
步骤5、将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。
2.根据权利要求1所述的海洋低光环境多目标检测方法，其特征在于，所述步骤1包括以下步骤，
步骤1.1、根据水下低光环境事件流数据，使用体素网格的方式进行对事件流数据的表征，得到事件体素网格；
步骤1.2、根据水下低光环境RGB图像数据，筛选出特征显著的RGB图像数据，筛选出具有典型特征的水下低光图像数据；
步骤1.3、根据步骤1.2所筛选出的具有典型特征的水下低光图像数据，划分时间序列；
步骤1.4、将表征后的事件数据按照步骤1.3中的时间戳集合进行提取，得到在时间维度上配对的事件体素网格和RGB图像数据；
步骤1.5、针对步骤1.4的事件体素网格和RGB图像数据，获取数据中海洋目标的边界框位置和类别信息；
步骤1.6、将步骤1.4的事件体素网格、RGB图像数据以及步骤1.5中获取的边界框位置和类别信息作为有监督学习模型训练使用的数据集。
3.根据权利要求2所述的海洋低光环境多目标检测方法，其特征在于，所述步骤1.2的筛选方式为人工筛选；
所述步骤1.5获取的数据中海洋目标的边界框位置和类别信息的标注方式为专家人工标注，同时边界框位置和类别信息作为有监督学习的标签数据使用。
4.根据权利要求2所述的海洋低光环境多目标检测方法，其特征在于，所述步骤2包括以下步骤，
步骤2.1、将事件体素网格输入到事件编码器中，得到三个不同尺度大小的事件特征向量；
步骤2.2、将RGB图像数据按步骤2.1的顺序同步输入到对应的帧编码器中，得到三个不同尺度大小的图像特征向量。
5.根据权利要求1所述的海洋低光环境多目标检测方法，其特征在于，所述步骤3通过以下方式实现：
步骤3.1、在三个尺度上分别执行如下操作：将对应尺度的事件特征向量和图像特征向量共同输入到可学习的自适应选择和融合模块，并在模块开始的时候，进行通道降维操作，以降低计算量，得到事件特征向量和图像特征向量两个分支的降维后的对应特征向量；
步骤3.2、将事件特征向量和图像特征向量两个分支相互并行地依次通过卷积层、自注意力机制层、不同池化层以及进行激活函数响应的操作，生成两个分支各自的特征注意力权重图；
步骤3.3、将两分支的注意力权重图共同进行逐通道置信度排序和选择操作，构建置信度集合；在通道维度上计算置信度集合的中位数，并作为特征显著性与特征选择的显著性阈值；
步骤3.4、定义两个重要超参数，放大因子和低置信度因子；
步骤3.5、将排序和选择后的两个分支注意力权重图与自适应选择和融合模块最初降维后的对应特征向量逐元素相乘，得到两个分支新的匹配自适应权重的特征向量；
步骤3.6、将两个分支新的匹配自适应权重的特征向量进行通道合并操作，形成融合特征；随后进行升维操作，恢复到原始输入的大小，进而得到最终的融合特征向量。
6.根据权利要求5所述的海洋低光环境多目标检测方法，其特征在于，所述步骤3.4具体为，将步骤3.3中大于显著性阈值的注意力权重图的对应通道与放大因子相乘，以放大显著性通道的特征权重；
将小于显著性阈值的注意力权重图的对应通道与缩小因子相乘，以降低弱相关通道的特征权重，为如下公式：
Figure QLYQS_1
，
式中，
Figure QLYQS_2
代表排序后的注意力权重图的第/>
Figure QLYQS_3
个通道，D代表显著性阈值，/>
Figure QLYQS_4
代表放大因子，/>
Figure QLYQS_5
代表缩小因子。
7.根据权利要求1所述的海洋低光环境多目标检测方法，其特征在于，所述步骤4具体为，
将三个尺度的事件特征向量和图像特征向量经由步骤3得到三个尺度的融合特征共同输入到深度特征提取模块，在全局、局部以及通道维度上进一步提取每个尺度下的深度特征信息；输出为三个不同尺度进一步提取的深度特征向量。
8.一种基于跨模态数据的海洋低光环境多目标检测系统，其特征在于，所述多目标检测系统使用如权利要求1-7任一所述的海洋低光环境多目标检测方法，所述多目标检测系统包括，
水下跨模态基准模块，利用事件相机采集的水下低光环境事件流和对应的RGB帧构建水下跨模态基准数据集；
编码器模块，利用事件编码器和帧编码器对事件流和RGB帧进行特征编码，分别得到三层不同尺度的特征向量；
融合特征模块，利用自适应选择和融合模块对三层不同尺度的特征向量进行特征排序和数据融合；
重要特征信息提取模块，将步骤3三层不同尺度的融合特征送入深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；
输出模块，将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN202310466248.6A 2023-04-27 2023-04-27 一种海洋低光环境多目标检测方法及其检测系统 Active CN116206196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310466248.6A CN116206196B (zh) 2023-04-27 2023-04-27 一种海洋低光环境多目标检测方法及其检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310466248.6A CN116206196B (zh) 2023-04-27 2023-04-27 一种海洋低光环境多目标检测方法及其检测系统

Publications (2)

Publication Number Publication Date
CN116206196A true CN116206196A (zh) 2023-06-02
CN116206196B CN116206196B (zh) 2023-08-08

Family

ID=86515976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310466248.6A Active CN116206196B (zh) 2023-04-27 2023-04-27 一种海洋低光环境多目标检测方法及其检测系统

Country Status (1)

Country Link
CN (1) CN116206196B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745596A (zh) * 2024-02-19 2024-03-22 吉林大学 一种基于跨模态融合的水下去遮挡方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909925A (zh) * 2017-03-03 2017-06-30 河海大学 一种水下图像目标检测方法
CN112686928A (zh) * 2021-01-07 2021-04-20 大连理工大学 一种基于多源信息融合的运动目标视觉跟踪方法
CN112801027A (zh) * 2021-02-09 2021-05-14 北京工业大学 基于事件相机的车辆目标检测方法
CN113762409A (zh) * 2021-09-17 2021-12-07 北京航空航天大学 一种基于事件相机的无人机目标检测方法
CN114170497A (zh) * 2021-11-03 2022-03-11 中国农业大学 一种基于注意力模块的多尺度水下鱼群检测方法
CN115631407A (zh) * 2022-11-10 2023-01-20 中国石油大学(华东) 基于事件相机与彩色帧图像融合的水下透明生物检测
CN115761472A (zh) * 2023-01-09 2023-03-07 吉林大学 一种基于融合事件和rgb数据的水下暗光场景重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909925A (zh) * 2017-03-03 2017-06-30 河海大学 一种水下图像目标检测方法
CN112686928A (zh) * 2021-01-07 2021-04-20 大连理工大学 一种基于多源信息融合的运动目标视觉跟踪方法
CN112801027A (zh) * 2021-02-09 2021-05-14 北京工业大学 基于事件相机的车辆目标检测方法
CN113762409A (zh) * 2021-09-17 2021-12-07 北京航空航天大学 一种基于事件相机的无人机目标检测方法
CN114170497A (zh) * 2021-11-03 2022-03-11 中国农业大学 一种基于注意力模块的多尺度水下鱼群检测方法
CN115631407A (zh) * 2022-11-10 2023-01-20 中国石油大学(华东) 基于事件相机与彩色帧图像融合的水下透明生物检测
CN115761472A (zh) * 2023-01-09 2023-03-07 吉林大学 一种基于融合事件和rgb数据的水下暗光场景重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾振卿;刘雪峰;: "基于YOLO和图像增强的海洋动物目标检测", 电子测量技术, no. 14 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745596A (zh) * 2024-02-19 2024-03-22 吉林大学 一种基于跨模态融合的水下去遮挡方法
CN117745596B (zh) * 2024-02-19 2024-06-11 吉林大学 一种基于跨模态融合的水下去遮挡方法

Also Published As

Publication number Publication date
CN116206196B (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN110378381B (zh) 物体检测方法、装置和计算机存储介质
CN110222717B (zh) 图像处理方法和装置
Komorowski et al. Minkloc++: lidar and monocular image fusion for place recognition
CN112990116B (zh) 基于多注意力机制融合的行为识别装置、方法和存储介质
CN114565655B (zh) 一种基于金字塔分割注意力的深度估计方法及装置
CN109300151B (zh) 图像处理方法和装置、电子设备
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN111797881A (zh) 图像分类方法及装置
CN116206196B (zh) 一种海洋低光环境多目标检测方法及其检测系统
Jeon et al. ABCD: Attentive bilateral convolutional network for robust depth completion
CN115311186A (zh) 一种红外与可见光图像跨尺度注意力对抗融合方法及终端
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN116563285B (zh) 一种基于全神经网络的病灶特征识别与分割方法及系统
CN114283352A (zh) 一种视频语义分割装置、训练方法以及视频语义分割方法
CN115240240A (zh) 基于yolo网络的红外人脸识别方法及系统
Malav et al. DHSGAN: An end to end dehazing network for fog and smoke
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN116402851A (zh) 一种复杂背景下的红外弱小目标跟踪方法
CN110705564B (zh) 图像识别的方法和装置
CN115861595B (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN112132207A (zh) 基于多分支特征映射目标检测神经网络构建方法
CN115565079A (zh) 一种基于双边融合的遥感图像语义分割方法
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN115496788A (zh) 一种使用空域传播后处理模块的深度补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant