CN116682000A - 一种基于事件相机的水下蛙人目标检测方法 - Google Patents
一种基于事件相机的水下蛙人目标检测方法 Download PDFInfo
- Publication number
- CN116682000A CN116682000A CN202310936412.5A CN202310936412A CN116682000A CN 116682000 A CN116682000 A CN 116682000A CN 202310936412 A CN202310936412 A CN 202310936412A CN 116682000 A CN116682000 A CN 116682000A
- Authority
- CN
- China
- Prior art keywords
- event
- underwater
- frogman
- image
- underwater frogman
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 108091006146 Channels Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Abstract
一种基于事件相机的水下蛙人目标检测方法。属于水下机器视觉目标检测技术领域，具体涉及水下蛙人目标检测领域。其解决了以往的水下蛙人目标检测缺乏鲁棒性强的特征信息的问题。所述方法具体为：利用事件相机获取水下蛙人事件序列和RGB图像，设计RGB残差学习模块，用于充分提取水下蛙人RGB图像空间特征信息，设计事件残差学习模块，用于充分提取水下蛙人事件图像纹理特征信息，设计特征融合网络，使水下蛙人RGB图像特征信息与水下蛙人事件图像特征信息进行细粒度特征融合。本发明所述方法可以应用在水下目标检测技术领域、水下航行安全检测领域以及水下目标识别设备制造领域。
Description
技术领域
本发明属于水下机器视觉目标检测技术领域，具体涉及水下蛙人目标检测领域。
背景技术
近年来，安全防御浅海水域的问题受到越来越多的关注。作为水下的生力军，水下蛙人与搭载动力系统的水下无人航行器、水下潜艇等传统军事设备相比，具有更强的机动性和隐蔽性。特别是经过专业训练且携带先进军事装备的战斗蛙人，其水下破坏力更强，能够给舰船、潜艇和军事港口带来严重威胁。因此，能够对水下蛙人实现精准检测在保卫浅海水域安全上起着至关重要的作用。
目前，针对水下蛙人的目标检测技术正在不断发展和完善，尤其是随着人工智能技术的快速发展，目标检测算法也变得越来越高效和精确。基于深度学习的目标检测算法已经开始应用于水下环境中，取得了一些非常不错的成果。但目前基于深度学习的水下蛙人目标检测仍存在以下缺点：
目标模糊：由于蛙人在水下移动速度过快，传统相机容易拍摄到模糊的蛙人图像，这减少了图片的有效特征信息，不利于水下蛙人目标的检测。
环境阴暗：由于水下环境的极端性，传统相机拍摄的水下图像存在噪声和失真等问题，不利于检测器对目标进行精准检测。
检测性能不稳定：由于水下环境的复杂性，目标检测器的性能在不同场景和条件下表现不稳定。例如，在不同的水质、光照和目标尺寸等情况下，检测器的准确率和召回率可能会有很大差异。
因此，如何在复杂的水下环境中提高水下蛙人目标检测的准确性、减小识别误差以及提升泛化能力是当前研究的热点和难点。
事件相机，也称为脉冲相机或异步相机，是一种新型的传感器技术，用于捕捉和处理场景中快速变化的运动和事件。事件相机通过高时间分辨率、低延迟、高动态范围和低功耗等特点，为目标检测提供了优异的能力。它能够捕捉到快速变化的目标动作并提供准确的特征信息，具有在高速、高动态范围和实时性要求的场景中应用的潜力。然而，事件相机目前仍处于发展阶段，针对水下场景的视觉应用，事件相机的潜力还尚未完全挖掘，需要进一步研究以实现更广泛的应用。
发明内容
本发明为了解决以往的水下蛙人目标检测缺乏鲁棒性强的特征信息的问题，利用事件相机获取水下蛙人事件序列和RGB图像，将水下蛙人事件序列和RGB图像信息进行细粒度特征融合，为水下蛙人目标检测提供高效鲁棒性强的特征信息。
所述检测方法包括如下步骤：
S1、利用事件相机采集水下蛙人事件序列和水下蛙人RGB图像；
S2、对步骤S1采集的水下蛙人事件序列采用固定时间间隔法转化为水下蛙人事件图像，使用水下蛙人事件图像与水下蛙人RGB图像构建数据集，按照7：3的比例划分训练集与验证集，用于对模型进行训练；
S3、设计RGB残差学习模块，用于提取水下蛙人RGB图像特征；
S4、设计事件图像残差学习模块，用于提取水下蛙人事件图像特征；
S5、设计水下蛙人RGB图像与事件图像特征融合网络，将RGB残差学习模块与事件图像残差学习模块嵌入到网络中，实现对RGB图像特征与事件图像特征的提取与融合，获得融合RGB与事件图像的融合特征图；
S6、将水下蛙人RGB图像与事件图像特征融合网络嵌入到目标检测模型中；
S7、使用步骤S2构建的数据集训练步骤S6获得的目标检测模型，使用验证集验证网络训练效果，保存最优目标检测模型；
S8、使用步骤S7保存的最优目标检测模型对水下蛙人进行目标检测。
进一步，所述步骤S1中事件相机的主动像素传感器采集水下蛙人RGB图像，事件相机的动态视觉传感器采集水下蛙人事件序列。
进一步，所述步骤S2中，采用固定时间间隔法将水下蛙人事件序列转化为水下蛙人事件图像，具体为：将帧重建设置为10ms的固定帧长，使检测频率达到每秒100帧，在每个时间间隔内，根据水下蛙人事件序列中事件生成的像素位置，在有极性生成的对应像素点上，极性增加的事件被绘制成白色像素，极性减少的事件被绘制成黑色像素，图像的背景颜色为灰色，最后生成与水下蛙人RGB图像相同大小的水下蛙人事件图像。
进一步，所述步骤S3中，所述RGB残差学习模块包括三个分支，第一个分支由两个DBS模块以及一个全局平均池化串联而成；第二个分支由一个坐标注意力机制构成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。
进一步，所述步骤S4中，所述事件图像残差学习模块包括三个分支，第一个分支由两个DBS模块以及一个全局最大池化串联而成；第二个分支由一个DBS模块组成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。
进一步，所述DBS模块包括卷积层、批量归一化层和激活层。
进一步，所述步骤S5中，所述水下蛙人RGB图像与事件图像特征融合网络由三个分支和一个总拼接层组成，第一个分支由三个事件图像残差学习模块串联构成，第二个分支由三个RGB残差学习模块串联构成，第三个分支为残差，三种分支每层输出的特征图进行逐元素相加融合，然后送入下一层RGB残差学习模块中，最后将三个分支输出的特征图在总拼接层进行按维度拼接。
进一步，步骤S6中，水下蛙人RGB图像与事件图像特征融合网络嵌入到目标检测模型的特征提取网络之前。
本发明所述方法的有益效果为：
利用事件相机获取水下蛙人事件序列和RGB图像，设计RGB残差学习模块，用于充分提取水下蛙人RGB图像空间特征信息，设计事件残差学习模块，用于充分提取水下蛙人事件图像纹理特征信息，设计特征融合网络，使水下蛙人RGB图像特征信息与水下蛙人事件图像特征信息进行细粒度特征融合。解决了因水下光照不均匀、水质模糊等一系列极端环境因素导致的目标特征信息不足等问题，为水下蛙人目标检测提供高效鲁棒性强的特征信息。能够对水下复杂环境条件下的蛙人目标进行准确高效的端到端的检测。
本发明所述方法可以应用在水下目标检测技术领域、水下航行安全检测领域以及水下目标识别设备制造领域。
附图说明
图1为本发明实施例中水下蛙人目标检测方法流程图；
图2为本发明实施例中RGB残差学习模块结构图；
图3为本发明实施例中事件图像残差学习模块结构图；
图4为本发明实施例中水下蛙人RGB图像与事件图像特征融合网络结构图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
实施例1、
如图1所示，本实施例提供一种基于事件相机的水下蛙人目标检测方法，所述检测方法包括如下步骤：
S1、利用事件相机采集水下蛙人事件序列和水下蛙人RGB图像；
S2、对步骤S1采集的水下蛙人事件序列采用固定时间间隔法转化为水下蛙人事件图像，使用水下蛙人事件图像与水下蛙人RGB图像构建数据集，按照7：3的比例划分训练集与验证集，用于对模型进行训练；
S3、设计RGB残差学习模块，用于提取水下蛙人RGB图像特征；
S4、设计事件图像残差学习模块，用于提取水下蛙人事件图像特征；
S5、设计水下蛙人RGB图像与事件图像特征融合网络，将RGB残差学习模块与事件图像残差学习模块嵌入到网络中，实现对RGB图像特征与事件图像特征的提取与融合，获得融合RGB与事件图像的融合特征图；
S6、将水下蛙人RGB图像与事件图像特征融合网络嵌入到目标检测模型中；
S7、使用步骤S2构建的数据集训练步骤S6获得的目标检测模型，使用验证集验证网络训练效果，保存最优目标检测模型；
S8、使用步骤S7保存的最优目标检测模型对水下蛙人进行目标检测。
实施例2、
本实施例是对实施例1的进一步限定，所述步骤S1中，利用事件相机通过主动像素传感器(APS)和动态视觉传感器(DVS)分别输出3000张水下蛙人RGB图像和水下蛙人事件序列。 APS具有更高的速度和更低的噪声水平，同时也能够实现单独控制每个像素的曝光时间和增益等参数，提高了水下蛙人图片质量。DVS能够在高速移动和变化的环境下实时获取场景信息，并且具有低延迟、低功耗、易于集成等特点。
实施例3、
本实施例是对实施例1的进一步限定，步骤S2通过以下方式实现:将帧重建设置为10ms的固定帧长，使检测频率达到每秒100帧，在每个时间间隔内，根据水下蛙人事件序列中事件生成的像素位置，在有极性生成的对应像素点上，极性增加的事件被绘制成白色像素，极性减少的事件被绘制成黑色像素，图像的背景颜色为灰色，最后生成与水下蛙人RGB图像相同大小的水下蛙人事件图像，使用3000张水下蛙人事件图像与RGB图像构建数据集，按照7：3的比例划分训练集与验证集，用于对模型进行训练。
实施例4、
本实施例是对实施例1的进一步限定，步骤S3通过以下方式实现：
设计RGB残差学习模块，用于充分提取水下蛙人RGB图像特征。设计DBS模块，它由可形变卷积层、批量归一化层和SiLU激活函数层构成，其中“D”表示Deformable Conv，即为可变卷积层，“B”表示 Batch Normalization，即为批量归一化层，“S”表示Sigmoid LinearUnit，为一种激活函数，可以简写为SiLU；输入DBS模块的图像依次经过可形变卷积层、批量归一化层和SiLU激活函数层，最后输出，DBS模块用于适应水下蛙人目标物体的形变和旋转，提高检测精度，防止梯度消失和爆炸等问题，抑制模型过拟合。如图2所示，RGB残差学习模块共有三个分支组成，其中:第一个分支由两个DBS模块以及一个全局平均池化串联而成；第二个分支由一个坐标注意力机制构成；第三个分支作为残差分支，最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。
实施例5、
本实施例是对实施例1的进一步限定，步骤S4通过以下方式实现：
设计事件图像残差学习模块，用于充分提取水下蛙人事件图像特征。如图3所示，它由三个分支组成，其中:第一个分支由两个DBS模块以及一个全局最大池化串联而成；第二个分支由一个DBS模块组成；第三个分支作为残差分支，最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。
实施例6、
本实施例是对实施例1的进一步限定，步骤S5通过以下方式实现：
设计水下蛙人RGB图像与事件图像特征融合网络，将事件图像与RGB图像同时输入到网络中，如图4所示，所述水下蛙人RGB图像与事件图像特征融合网络由三个分支和一个总拼接层组成，其中：事件图像网络分支由三个事件图像残差学习模块串联构成，RGB图像网络分支由三个RGB残差学习模块串联构成，残差分支对于原始RGB图像不做任何处理。三种分支每层输出的特征图进行逐元素相加融合，然后送入下一层RGB残差学习模块中，实现事件图像与RGB图像的特征充分融合，同时残差分支的特征图保留了RGB图像的原始信息，最后将三个网络分支输出的3x320x320的特征图进行按维度拼接，获得9x320x320大小的特征图。
对于第1层特征融合操作，其计算公式为：
；
对于第k层特征融合操作(k>1)，其计算公式为：
；
；
其中，当时，令/>。对于第n层输出，其计算公式为：
:/>]；
其中，代表事件图像残差学习模块，/>代表RGB图像残差学习模块，/>代表RGB分支输出的特征图，/>代表事件分支输出的特征图，/>代表初始RGB图像，[:/>:/>]代表将/>特征图按维度拼接。
实施例7、
本实施例是对实施例1的进一步限定，步骤S6通过以下方式实现：
将水下蛙人RGB图像与事件图像特征融合网络嵌入到目标检测模型中，目标检测模型可以选用任意一阶段目标检测模型，如Yolov5、YoloX、Yolov6、Yolov7等，将水下蛙人RGB图像与事件图像特征融合网络加在目标检测模型的特征提取网络之前，特征融合网络的嵌入使得目标检测模型可以获得信息更丰富的特征图，从而加强了模型的目标检测效果。
其中，Yolov5、YoloX、Yolov6、Yolov7都是已有的目标检测的算法模型，它们属于YoLo（You Only Look Once）系列，不同的尾字母代表不同的YoLo（You Only Look Once）系列，都是已知模型。
此处的目标监测模型就是任何设计好的水下蛙人目标检测模型，本发明所述方法就是设计所述特征融合网络，提高模型的检测能力。
实施例8、
本实施例是对实施例1的进一步限定，步骤S7通过以下方式实现：
使用步骤1构建的数据集训练所述目标检测模型，使用验证集验证网络训练效果，保存最优模型，使模型能够充分的提取水下蛙人特征，从而准确的对水下蛙人进行目标检测。
具体的，将划分好的图像数据集进行预处理，包括图像的缩放、旋转、归一化、通道顺序的变换等操作。使用训练集对目标检测模型进行训练，使用验证集验证模型的训练效果，同时保存训练中的最优模型。
实施例9、
本实施例是对实施例1的进一步限定，步骤S8通过以下方式实现：
使用事件相机获得水下蛙人RGB图像与水下蛙人事件序列，使用固定时间间隔法将水下蛙人事件序列转换成水下蛙人事件图像，使用步骤S7保存的最优模型对水下蛙人进行特征提取与目标检测，得到目标的位置和类别信息，对预测的结果进行后处理，包括去重、筛选、非极大值抑制等操作，最终得到水下蛙人目标检测结果。
Claims (8)
1.一种基于事件相机的水下蛙人目标检测方法，其特征在于，所述检测方法包括如下步骤：
S1、利用事件相机采集水下蛙人事件序列和水下蛙人RGB图像；
S2、对步骤S1采集的水下蛙人事件序列采用固定时间间隔法转化为水下蛙人事件图像，使用水下蛙人事件图像与水下蛙人RGB图像构建数据集，按照7：3的比例划分训练集与验证集，用于对模型进行训练；
S3、设计RGB残差学习模块，用于提取水下蛙人RGB图像特征；
S4、设计事件图像残差学习模块，用于提取水下蛙人事件图像特征；
S5、设计水下蛙人RGB图像与事件图像特征融合网络，将RGB残差学习模块与事件图像残差学习模块嵌入到网络中，实现对RGB图像特征与事件图像特征的提取与融合，获得融合RGB与事件图像的融合特征图；
S6、将水下蛙人RGB图像与事件图像特征融合网络嵌入到目标检测模型中；
S7、使用步骤S2构建的数据集训练步骤S6获得的目标检测模型，使用验证集验证网络训练效果，保存最优目标检测模型；
S8、使用步骤S7保存的最优目标检测模型对水下蛙人进行目标检测。
2.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤S1中事件相机的主动像素传感器采集水下蛙人RGB图像，事件相机的动态视觉传感器采集水下蛙人事件序列。
3.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤S2中，采用固定时间间隔法将水下蛙人事件序列转化为水下蛙人事件图像，具体为：将帧重建设置为10ms的固定帧长，使检测频率达到每秒100帧，在每个时间间隔内，根据水下蛙人事件序列中事件生成的像素位置，在有极性生成的对应像素点上，极性增加的事件被绘制成白色像素，极性减少的事件被绘制成黑色像素，图像的背景颜色为灰色，最后生成与水下蛙人RGB图像相同大小的水下蛙人事件图像。
4.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤S3中，所述RGB残差学习模块包括三个分支，第一个分支由两个DBS模块以及一个全局平均池化串联而成；第二个分支由一个坐标注意力机制构成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。
5.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤S4中，所述事件图像残差学习模块包括三个分支，第一个分支由两个DBS模块以及一个全局最大池化串联而成；第二个分支由一个DBS模块组成；第三个分支作为残差分支；最后三个分支的输出特征图通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征图。
6.根据权利要求3或4所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述DBS模块包括卷积层、批量归一化层和激活层。
7.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，所述步骤S5中，所述水下蛙人RGB图像与事件图像特征融合网络由三个分支和一个总拼接层组成，第一个分支由三个事件图像残差学习模块串联构成，第二个分支由三个RGB残差学习模块串联构成，第三个分支为残差，三种分支每层输出的特征图进行逐元素相加融合，然后送入下一层RGB残差学习模块中，最后将三个分支输出的特征图在总拼接层进行按维度拼接。
8.根据权利要求1所述的基于事件相机的水下蛙人目标检测方法，其特征在于，步骤S6中，水下蛙人RGB图像与事件图像特征融合网络嵌入到目标检测模型的特征提取网络之前。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310936412.5A CN116682000B (zh) | 2023-07-28 | 2023-07-28 | 一种基于事件相机的水下蛙人目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310936412.5A CN116682000B (zh) | 2023-07-28 | 2023-07-28 | 一种基于事件相机的水下蛙人目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116682000A true CN116682000A (zh) | 2023-09-01 |
| CN116682000B CN116682000B (zh) | 2023-10-13 |
Family
ID=87785820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310936412.5A Active CN116682000B (zh) | 2023-07-28 | 2023-07-28 | 一种基于事件相机的水下蛙人目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116682000B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557795A (zh) * | 2024-01-10 | 2024-02-13 | 吉林大学 | 基于多源数据融合的水下目标语义分割方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112801027A (zh) * | 2021-02-09 | 2021-05-14 | 北京工业大学 | 基于事件相机的车辆目标检测方法 |
| US20210224512A1 (en) * | 2020-01-17 | 2021-07-22 | Wuyi University | Danet-based drone patrol and inspection system for coastline floating garbage |
| CN113762409A (zh) * | 2021-09-17 | 2021-12-07 | 北京航空航天大学 | 一种基于事件相机的无人机目标检测方法 |
| CN114332911A (zh) * | 2021-11-18 | 2022-04-12 | 湖北大学 | 一种头部姿态检测方法、装置及计算机设备 |
| CN114694002A (zh) * | 2022-03-11 | 2022-07-01 | 中国电子科技集团公司第五十四研究所 | 一种基于特征融合与注意力机制的红外目标检测方法 |
| WO2023273290A1 (zh) * | 2021-06-29 | 2023-01-05 | 山东建筑大学 | 基于多特征信息捕捉和相关性分析的物品图像重识别方法 |
| CN115631407A (zh) * | 2022-11-10 | 2023-01-20 | 中国石油大学(华东) | 基于事件相机与彩色帧图像融合的水下透明生物检测 |
| CN115761472A (zh) * | 2023-01-09 | 2023-03-07 | 吉林大学 | 一种基于融合事件和rgb数据的水下暗光场景重建方法 |
| CN115937251A (zh) * | 2022-11-03 | 2023-04-07 | 中国农业大学 | 一种用于虾类的多目标跟踪方法 |
| CN116258707A (zh) * | 2023-03-15 | 2023-06-13 | 常州京信新一代信息技术研究院有限公司 | 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法 |
| CN116309781A (zh) * | 2023-05-18 | 2023-06-23 | 吉林大学 | 一种基于跨模态融合的水下视觉目标测距方法及装置 |
-
2023
- 2023-07-28 CN CN202310936412.5A patent/CN116682000B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210224512A1 (en) * | 2020-01-17 | 2021-07-22 | Wuyi University | Danet-based drone patrol and inspection system for coastline floating garbage |
| CN112801027A (zh) * | 2021-02-09 | 2021-05-14 | 北京工业大学 | 基于事件相机的车辆目标检测方法 |
| WO2023273290A1 (zh) * | 2021-06-29 | 2023-01-05 | 山东建筑大学 | 基于多特征信息捕捉和相关性分析的物品图像重识别方法 |
| CN113762409A (zh) * | 2021-09-17 | 2021-12-07 | 北京航空航天大学 | 一种基于事件相机的无人机目标检测方法 |
| CN114332911A (zh) * | 2021-11-18 | 2022-04-12 | 湖北大学 | 一种头部姿态检测方法、装置及计算机设备 |
| CN114694002A (zh) * | 2022-03-11 | 2022-07-01 | 中国电子科技集团公司第五十四研究所 | 一种基于特征融合与注意力机制的红外目标检测方法 |
| CN115937251A (zh) * | 2022-11-03 | 2023-04-07 | 中国农业大学 | 一种用于虾类的多目标跟踪方法 |
| CN115631407A (zh) * | 2022-11-10 | 2023-01-20 | 中国石油大学(华东) | 基于事件相机与彩色帧图像融合的水下透明生物检测 |
| CN115761472A (zh) * | 2023-01-09 | 2023-03-07 | 吉林大学 | 一种基于融合事件和rgb数据的水下暗光场景重建方法 |
| CN116258707A (zh) * | 2023-03-15 | 2023-06-13 | 常州京信新一代信息技术研究院有限公司 | 一种基于改进的YOLOv5算法的PCB表面缺陷检测方法 |
| CN116309781A (zh) * | 2023-05-18 | 2023-06-23 | 吉林大学 | 一种基于跨模态融合的水下视觉目标测距方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557795A (zh) * | 2024-01-10 | 2024-02-13 | 吉林大学 | 基于多源数据融合的水下目标语义分割方法及系统 |
| CN117557795B (zh) * | 2024-01-10 | 2024-03-29 | 吉林大学 | 基于多源数据融合的水下目标语义分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116682000B (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636754B (zh) | 基于生成对抗网络的极低照度图像增强方法 | |
| EP3757890A1 (en) | Method and device for image processing, method and device for training object detection model | |
| Liu et al. | MLFcGAN: Multilevel feature fusion-based conditional GAN for underwater image color correction | |
| CN116682000B (zh) | 一种基于事件相机的水下蛙人目标检测方法 | |
| CN110473185A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN111861914B (zh) | 基于深度神经网络的低照度彩色偏振图像增强方法 | |
| CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN110349163A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN113591592B (zh) | 水上目标识别方法、装置、终端设备及存储介质 | |
| CN116612015A (zh) | 模型训练方法、图像去摩尔纹方法、装置及电子设备 | |
| Jonna et al. | Stereo image de-fencing using smartphones | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| Song et al. | Multistage curvature-guided network for progressive single image reflection removal | |
| CN113298177B (zh) | 夜间图像着色方法、装置、介质和设备 | |
| Zhou et al. | Underwater scene segmentation by deep neural network | |
| CN112150363B (zh) | 一种基于卷积神经网络的图像夜景处理方法及运行该方法的计算模块与可读存储介质 | |
| CN116310105B (zh) | 基于多视图的物体三维重建方法、装置、设备及存储介质 | |
| Xue | Blind image deblurring: a review | |
| Deng et al. | Selective kernel and motion-emphasized loss based attention-guided network for HDR imaging of dynamic scenes | |
| CN111008555B (zh) | 一种无人机图像弱小目标增强提取方法 | |
| CN117671472B (zh) | 一种基于动态视觉传感器的水下多目标群体识别方法 | |
| Martin et al. | UD-ETR Based Restoration & CNN Approach for Underwater Object Detection from Multimedia Data | |
| Guodong et al. | Underwater image enhancement and detection based on convolutional DCP and YOLOv5 | |
| Yang et al. | Multi-scale extreme exposure images fusion based on deep learning | |
| CN113139990B (zh) | 一种基于内容感知的深度网格流鲁棒图像对齐方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |