CN116310892A - 一种基于改进yolov4目标检测的海上救援方法 - Google Patents

Abstract

本发明公开了一种基于改进YOLOV4目标检测的海上救援方法，属于海上救援领域。包括：其中基于改进逐像素滤波的图像预处理(去雨、去雾)方法用于处理无人机通过搭载的高清摄像头采集图片，拍摄的模糊图像转换为清晰图像，为后续图像检测提供有效的数据。其中基于改进YOLOV4目标检测算法用于精确识别落水人员，使用特征金字塔转换器(FPT)增加对尺寸较小的海洋漂浮物(待救人员)的图片语义提取能力，从而提高搜救成功率。在传统的特征金字塔结构后加入特征金字塔转换器(FPT)，增强了小目标语义信息的特征图，有利于检测海上小目标物体。

Description

一种基于改进YOLOV4目标检测的海上救援方法

技术领域

本发明公开了一种基于改进YOLOV4目标检测的海上救援方法，属于海上救援领域。

背景技术

随着科学技术的发展、各国经济的增强，我国海洋经济规划的提出和军事海域活动范围的扩大，海洋捕捞、海洋运输、军事巡视等海上海空活动增多，这些活动中难免会出现各种各样的事故，海上救援任务中，由于被搜救的人员位置的不确定性，搜救手段单一、救生装备简单，为了确保被救援人员及时得到救援，特别是在被救援人员的位置比较分散的情况下需要大量的船只进行目标海域搜索和营救任务。有人船只进行海上营救时，成本较高并且不能有效利用所有营救船只所获信息，营救效率偏低。无人机参与救援是一种利用无人机自主作业完成对落水人员搜救新型方式。然而无人机对海面物体进行巡航拍摄时候，很难获取大量清晰准确图像，并且落水人员在拍摄图像中成像小，传统目标检测算法很难达到快速检测落水人员目的。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于改进YOLOV4目标检测的海上救援方法，采用基于改进逐像素滤波的图像预处理(去雨、去雾)方法、基于改进YOLOV4目标检测算法。

一种基于改进YOLOV4目标检测的海上救援方法，包括如下步骤：

步骤S1：使用图像滤波方法来对无人机拍摄的图像进行预处理，通过像素级滤波器来处理输入的雨天图像I^r∈R^H×W；

其中，I^r∈R^H×W表示最终的去雨去雾图像，

表示逐像素滤波操作，每个像素点由它特有的卷积核进行处理，/>

包括所有像素点的核；

步骤S2：在得到预处理图像后，对图像进行适当的裁剪变换，并转为张量格式送入深度学习网络；

步骤S3：在得到不同尺寸的特征地图之后，通过三种基于transformer的改进操作，使用查询(query)、键(key)和值(value)捕获上下文信息，生成新的特征图，对跨空间和跨尺度的非局部交互进行编码。特征图的输入分别为q_i,k_j,v_j，i代表特征图上的任意大小与位置的空间或尺度，j是与i无关的任意其他空间或尺度。

优选的是，本发明的步骤S1具体包括如下步骤：

具体来说，当对第p个I^r像素进行去雨去雾操作时有其唯一的卷积核，即在K的第p个位置的向量，该向量被定义为K_p∈R^K×K；使用p作为一个像素的2D坐标，通过以下方式预测去雨去雾像素点

其中t的范围从

到/>

但是因为逐像素卷积核大小的问题，对于每个像素预测三个通道的参数的卷积核，对雨条较大的图像很难取得满意的效果，针对上述问题，本方法让神经网络预测多尺度的空洞卷积核，空洞卷积后再把结果加权获得最终的去雨、雾图像。

优选的是，本发明的步骤S2具体包括如下步骤：主干网络对输入图像经过5次卷积残差操作，压缩特征尺寸并扩张通道数，获得更高语义信息；对最后一层特征层进行最大池化处理后进行上采样，与上一层尺寸相同的张量叠加，再一次通过上采样与前一层张量叠加，使底层信息得到充分的体现；对处理好后的张量采用卷积操作，缩小张量通道数量，减少冗余信息；将叠加完成张量进行下采样并与相同尺寸的张量叠加，使得不同尺寸的张量获取顶层信息，从而完成特征地图的构建。

优选的是，本发明的步骤S3具体包括如下步骤：

采用以下三种操作方式，分别以自身、高层级、低层级作为其他层级的queries，这样使得每一层级都是一个跨空间和尺度交互的特征图。

为了解决海上无人机拍摄的图像存在的雨、雾等复杂环境因素影响图片质量的问题，本发明提出一种基于改进逐像素滤波的图像去雨去雾方法。该方法通过将去雨去雾问题看成图像的逐像素滤波问题，由于滤波操作是高度优化的操作，所以图片质量恢复的速度会非常快。针对传统神经网络训练缺少大量成对的有雨雾和没有雨雾的数据集的问题，本方法拟采用一种雨雾数据增广算法，人为生成大量成对的雨雾数据集，为后续神经网络训练提供了可靠的数据集支撑。

根据海面复杂环境下无人机拍摄的海面漂浮物图像特征，提出一种基于跨尺度特征交互和并行残差网络的海上漂浮物(待救人员)视觉检测模型。该模型使用并行残差网络提高图像特征的提取能力，减少海洋漂浮物(待救人员)图像因光照，外形等因素变化造成的错检情况；使用特征金字塔转换器(FPT)增加对尺寸较小的海洋漂浮物(待救人员)的图片语义提取能力；本发明在传统的特征金字塔结构后将FPT网络嵌入至YOLOV4目标检测算法模型中，可以有效提高小目标检测效果。

附图说明

图1为逐像素滤波的图像预处理结构图；

图2为改进的海上救援方法流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

如图2所示，本发明提供一种基于改进逐像素滤波的图像预处理(去雨、去雾)、基于改进YOLOV4目标检测的海上救援方法，其中改进逐像素滤波的图像预处理(去雨、去雾)方法用于处理无人机通过搭载的高清摄像头采集图片，拍摄的模糊图像转换为清晰图像，为后续图像检测提供有效的数据。改进YOLOV4目标检测算法用于精确识别落水人员，从而进行搜救。

为了解决无人机在恶劣海洋气候环境下拍摄的图片由于雨、雾等环境因素影响图片质量的问题，本发明拟采用基于逐像素滤波的图像去雨去雾方法，在恶劣的海洋气候环境下，雨可能会导致遮挡、雾、运动模糊等效果。如图1所示，本发明使用图像滤波方法来对无人机拍摄的图像进行预处理，通过像素级滤波器来处理输入的雨天图像I^r∈R^H×W。

其中，I^r∈R^H×W表示最终的去雨去雾图像，

而表示逐像素滤波操作，每个像素点由它特有的卷积核进行处理，/>

包括所有像素点的核。具体来说，当对第p个I^r像素进行去雨去雾操作时有其唯一的卷积核，即在K的第p个位置的向量，该向量被定义为K_p∈R^K×K。本发明使用p作为一个像素的2D坐标，可以通过以下方式预测去雨去雾像素点

其中t的范围从

到/>

但是因为逐像素卷积核大小的问题，对于每个像素预测三个通道的参数的卷积核，对雨条较大的图像很难取得满意的效果，针对上述问题，本发明让神经网络预测多尺度的空洞卷积核，空洞卷积后再把结果加权获得最终的去雨、雾图像。

由于传统逐像素卷积核大小的问题，若图像中存在较大的雨条，检测很难取得满意的效果，针对上述问题，本发明让神经网络预测多尺度的空洞卷积核，空洞卷积后再把结果加权获得最终的去雨、雾图像。

为提高无人机对海上漂浮物的视觉识别精确度，本发明拟采用基于跨尺度特征交互和并行残差网络的目标检测模型对海面漂浮物进行视觉检测。在得到预处理图像后，对图像进行适当的裁剪变换，并转为张量格式送入深度学习网络。主干网络对输入图像经过5次卷积残差操作，压缩特征尺寸并扩张通道数，获得更高语义信息。对最后一层特征层进行最大池化处理后进行上采样，与上一层尺寸相同的张量叠加，再一次通过上采样与前一层张量叠加，使底层信息得到充分的体现。对处理好后的张量采用卷积操作，缩小张量通道数量，减少冗余信息。将叠加完成张量进行下采样并与相同尺寸的张量叠加，使得不同尺寸的张量获取顶层信息，从而完成特征地图的构建。

在得到不同尺寸的特征地图之后，通过三种基于transformer的改进操作，使用查询(query)、键(key)和值(value)捕获上下文信息，生成新的特征图，对跨空间和跨尺度的非局部交互进行编码。特征图的输入分别为q_i,k_j,v_j，i代表特征图上的任意大小与位置的空间或尺度，j是与i无关的任意其他空间或尺度。

特征交互能够有效提高小目标的语义信息，进而提高检测精度，因此提升特征交互的频率对于海上漂浮物(待救人员)的检测具有积极的作用。在本发明中提出了三种操作方式，分别以自身、高层级、低层级作为其他层级的queries，这样使得每一层级都是一个跨空间和尺度交互的特征图。

Self-Transformer在同一张特征图上捕获共同发生的对象特征，是一种非局部non-local交互，输出的特征图与其输入特征图的尺度相同。Grounding Transformer是自上而下的非局部non-local交互，它将高层特征图中的"概念"与下层特征图中的"像素"进行对接。输出特征图与下层特征图具有相同的尺度。

Rendering Transformer以自下而上的方式工作，旨在通过将视觉属性合并到低层级的“像素”中来渲染高层级“概念”，其是一种局部交互，该局部是基于渲染具有来自另一个遥远对象的特征或属性的“对象”是没有意义的这一事实，不是按像素而是按整个特征图进行的。然后将特征图按照尺寸重新排序并与原始金字塔特征合并，通过3次卷积操作缩小张量通道数量，形成增强了小目标语义信息的特征图。由此可以有效快速检测落水人员位置。

本发明采用基于跨尺度特征交互和并行残差网络的目标检测模型对海面漂浮物进行视觉检测。跨尺度特征交互方案可以有效解决由于待救人员在海面中尺寸中较小所带来的漏检问题。并行残差网络可以有效提取无人机拍摄的海面漂浮物图像的底层特征，基于预测框和目标框交并比的损失函数可以有效地提高卷积神经网络的训练速度。

Claims (4)

1.一种基于改进YOLOV4目标检测的海上救援方法，其特征在于包括如下步骤：

步骤S1：使用图像滤波方法来对无人机拍摄的图像进行预处理，通过像素级滤波器来处理输入的雨天图像I^r∈R^H×W；

其中，I^r∈R^H×W表示最终的去雨去雾图像，

表示逐像素滤波操作，每个像素点由它特有的卷积核进行处理，/>

包括所有像素点的核；

步骤S2：在得到预处理图像后，对图像进行适当的裁剪变换，并转为张量格式送入深度学习网络；

步骤S3：在得到不同尺寸的特征地图之后，通过三种基于transformer的改进操作，使用查询(query)、键(key)和值(value)捕获上下文信息，生成新的特征图，对跨空间和跨尺度的非局部交互进行编码。特征图的输入分别为q_i,k_j,v_j，i代表特征图上的任意大小与位置的空间或尺度，j是与i无关的任意其他空间或尺度。

2.根据权利要求1所述的基于改进YOLOV4目标检测的海上救援方法，其特征在于上述步骤S1具体包括如下步骤：

具体来说，当对第p个I^r像素进行去雨去雾操作时有其唯一的卷积核，即在K的第p个位置的向量，该向量被定义为K_p∈R^K×K；使用p作为一个像素的2D坐标，通过以下方式预测去雨去雾像素点

其中t的范围从

到/>

但是因为逐像素卷积核大小的问题，对于每个像素预测三个通道的参数的卷积核，对雨条较大的图像很难取得满意的效果，针对上述问题，本方法让神经网络预测多尺度的空洞卷积核，空洞卷积后再把结果加权获得最终的去雨、雾图像。

3.根据权利要求1所述的基于改进YOLOV4目标检测的海上救援方法，其特征在于上述步骤S2具体包括如下步骤：主干网络对输入图像经过5次卷积残差操作，压缩特征尺寸并扩张通道数，获得更高语义信息；对最后一层特征层进行最大池化处理后进行上采样，与上一层尺寸相同的张量叠加，再一次通过上采样与前一层张量叠加，使底层信息得到充分的体现；对处理好后的张量采用卷积操作，缩小张量通道数量，减少冗余信息；将叠加完成张量进行下采样并与相同尺寸的张量叠加，使得不同尺寸的张量获取顶层信息，从而完成特征地图的构建。

4.根据权利要求1所述的基于改进YOLOV4目标检测的海上救援方法，其特征在于上述步骤S3具体包括如下步骤：

采用以下三种操作方式，分别以自身、高层级、低层级作为其他层级的queries，这样使得每一层级都是一个跨空间和尺度交互的特征图。

Images