CN114596584A - 海洋生物智能检测识别方法 - Google Patents

Abstract

本发明提出一种海洋生物智能检测识别方法，通过引入基于UGAN的水下图像增强和深度可分离卷积，目的是在满足在多种海洋生物中，进行生物类别的识别以及检测，降低观测海洋生物的难度，优化传统的检测方式，达到高精度、实时的海洋生物检测。该方法考虑不同海洋生物中的形态差异、生活习性以及在更低的内存空间上部署检测算法的可行性；在YOLOv4中引入轻量级深度学习网络以及深度可分离卷积，能够平衡算法的性能与开支，有效降低海洋环境下各种因素对海洋生物的识别干扰和有效降低识别模型的参数量。

Description

海洋生物智能检测识别方法

技术领域

本发明涉及深度学习及海洋贝类苗种繁育技术领域，尤其涉及一种基于海洋生物智能检测识别方法。

背景技术

随着国民生活水平的不断提高，鲍 鱼、海参、海胆等珍贵海产品的市场需求与日俱增，极大促进了浅海养殖为代表的海洋渔业的蓬勃发展。人工潜水监控及捕捞的传统方法不仅耗时、人工成本高，而且人身伤害大、危险系数高。近年来，随着水下机器人等技术的日臻成熟和逐步应用，海洋养殖的信息化和智能化建设迎来新的发展契机。为实现水下机器人的成功捕捞，研发海洋生物的自动化目标识别技术尤为重要，而支撑这一工作的核心技术是目标检测（Object Detection）模型和算法。由于水下获取视频及图像的特殊性，海洋目标检测在准确率和实时性等方面都有特殊的需求，所以面向于海洋环境研究海洋生物等目标的高性能检测模型已经成为一个重要的研究方向。

目标检测算法在某些方面已经得到应用，但是直接应用到浅海养殖生物识别仍然存在问题。试验中表现出的主要问题有：1）由于光线昏暗而且分布不均匀，导致采集的数据清晰度不高，检测精度达不到期望；2）有 些海洋生物与生活的环境区分度不够，极易导致漏检的情况；3）生物体的遮挡、半隐藏等现象经常出现，对模型的泛化能力要求更高。

并且，由于目前例如水下机器人所使用的嵌入式设备往往，计算能力不强，内存空间小，对于大型的深度学习神经网络的部署显得乏力，在实际工作中要达到实时检测的目标，是一个需要解决的问题。

因此，针对海洋背景具有多种因素干扰检测的问题，并且为了降低检测模型的所需容量，搭载了轻量级神经网络的水下图像增强的YOLOv4目标检测算法可以很好的实现高精度的海洋环境下的生物检测。

发明内容

针对现有技术存在的缺陷和不足，本发明提出了一种海洋生物智能检测识别方法。针对海洋背景具有多种因素干扰检测的问题，并且为了降低检测模型的所需容量，提供的方案采用搭载了轻量级神经网络的水下图像增强的YOLOv4目标检测算法实现高精度的海洋环境下的生物检测。

本发明考虑在海洋背景中观测不同海洋生物的形态和运动轨迹的差异性，海洋环境中亮度、遮挡、多目标交叉的动态变化情况（例如：亮度、对比度、遮挡等情况），以及人工观测海洋生物的具有背景干扰，时间追踪的有序性，进行人工观测工作量大，耗时长效率低，结合深度学习，提出的基于YOLOv4的轻量化海洋生物智能检测方案；通过引入基于UGAN（Underwater Generative Adversarial Network）的水下图像增强和深度可分离卷积，目的是在满足在多种海洋生物中，进行生物类别的识别以及检测，降低观测海洋生物的难度，优化传统的检测方式，达到高精度、实时的海洋生物检测。该方法考虑不同海洋生物中的形态差异、生活习性以及在更低的内存空间上部署检测算法的可行性；在YOLOv4中引入轻量级深度学习网络以及深度可分离卷积，能够平衡算法的性能与开支，有效降低海洋环境下各种因素对海洋生物的识别干扰和有效降低识别模型的参数量。

其具体采用以下技术方案：

一种海洋生物智能检测识别方法，包括以下步骤：

步骤S1：将水下相机拍摄的原始海洋环境视频进行分帧处理，获取原始数据图像；

步骤S2：将所获取的原始图像，进行基于 UGAN的水下图像增强处理，获取增强图像；

步骤S3：将已经增强过的图像数据进行标志，每一个类别对应一个名字，使用矩形框标注生物所在位置，保持标注文件和图像作为训练的数据集；

步骤S4：采用已经建立的数据集训练基于YOLO的轻量级海洋生物目标检测网络，调整网络参数，从而获得海洋生物目标检测模型；

步骤S5：将水下相机拍摄的图像或者视频输入海洋生物目标检测模型，检测图像或者视频中海洋生物的所处位置；

所述基于YOLO的轻量级海洋生物目标检测网络包括轻量级目标检测网络GhostNet和深度可分离卷积构成的特征提取网络M-PAnet。

进一步地，在该基于YOLO的轻量级海洋生物目标检测网络当中，输入特征图通过轻量级目标检测网络GhostNet下采样进行特征提取；所述轻量级目标检测特征提取网络GhostNet由多个G-Neck构成，G-Neck由两个Ghost module组成；所述Ghost module是一种轻量化的卷积模块，其首先选取输入特征数据的部分通道作为本征特征数据，通过卷积操作将本征特征图转换为它的“幻影特征图”，再通过拼接的方式将本征特征图与“幻影特征图”进行联合，合并后的输出特征图；所述G-Neck是Ghost module构成的残差结构，通过两个Ghost Module合并而成，通过第一个Ghost module减小输入特征图的通道数，再通过第二个Ghost module进行通道扩张，通过G-Neck能够对输入的特征图进行特征提取；GhostNet则分为多个阶段，每个阶段由不同数量的G-Neck构成，在每一个阶段结束后都会对特征图进行下采样获取具有更加丰富语义信息的特征数据；

所述深度可分离卷积构成的特征提取网络M-PAnet是采用了深度可分离卷积的特征融合结构，在GhostNet输出三个规格的特征图后，对三种特征图进行多尺度的融合，由大尺寸的特征图下采样后与小尺寸特征图进行融合，融合后通过深度可分离卷积进行冗余信息过滤。

进一步地，在步骤S2中，基于 UGAN的水下图像增强处理采用的UGAN模型由生成网络和辨别网络构成，其整体为全卷积结构；所述生成网络采用 Encoder-Decoder 模式；在Encoder 部分，由8个卷积层构成，卷积核大小为 4×4，步长为 2；每个卷积层后连接归一化层和斜率为 0.2 的 LeakyReLU 激活层；在 Decoder 部分，由8个反卷积层构成，反卷积核大小为 4×4，步长为 2；辨别网络采用 PatchGAN 设计，输出 32×32×1 的矩阵概率。

进一步地，训练UGAN 模型采用一组图像对，所述图像对通过 CycleGAN获取，把空气中图像输入到 CycleGAN中，生成对应的水下环境风格图像；然后将空气中图像和水下环境风格图像作为图像对训练 UGAN；生成网络接收一个水下环境风格图像和一个随机噪声，然后经生成网络生成水下生成图像，水下生成图像与对应空气中图像 送入辨别网络进行辨别，若辨别为真，则返回真实标签， 否则，返回生成标签；生成网络与辨别网络互相对抗博弈，直到辨别网络分辨不出水下图像是否真实。

进一步地，在步骤S3中，使用labelImg标注工具将已经增强过的图像数据进行标志。

进一步地，在步骤S4中，对基于YOLO的轻量级海洋生物目标检测网络进行训练的具体过程包括：将数据集根据图片数量划分为训练集80％、交叉验证集10％和测试集10％，训练集的数据用于训练YOLO模型的参数，交叉验证集和测试集用于验证和测试模型的效果；为了使模型的泛化能力更强，对训练集的数据进行包括翻转、旋转、添加噪声的数据增强；采用预训练的神经网络对训练集的图片进行特征提取；在预训练的神经网络后连接YOLO特有识别边界框的目标检测层；训练时采用minibatch梯度下降法，迭代过程中通过反向传播调整网络中的参数；最后，将训练完成的轻量级YOLO模型保存用于之后的海洋生物检测。

以及，一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的海洋生物智能检测识别方法的步骤。

一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上所述的海洋生物智能检测识别方法的步骤。

其设计要点包括：使用拍摄的海洋生物水下视频，对其进行挑选、抽样分帧，再将所选图像进行水下图像增强，标注后，建立海洋生物目标检测数据集。构建基于YOLO的轻量级海洋生物目标检测模型，包括采用轻量级神经网络GhostNet以及深度可分离卷积，通过之后的训练可以得到需求的网络参数，通过训练所得到的网络参数可以对输入的数据进行检测，得到对应海洋生物的名称和位置。使用已经建立的海洋生物目标检测数据集送入已经搭建好的基于YOLO的轻量级海洋生物网络进行训练，调整学习率、选定优化器、控制训练的迭代次数。以及，将待检测的水下相机拍摄的视频或者图像输入已经训练好的模型进行检测，调整输入格式和输入尺寸，获取检测到的海洋生物位置与名称。

相对于现有技术，发明及其优选方案的有益效果包括：

（1）在复杂的海洋境也可以实现高精度的海洋生物检测。

（2）保证对海洋生物识别精度达到要求的情况下，优化了海洋环境下的海洋生物识别检测的部署，在边缘设备保证运行达到对应的精度和处理速度。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

图1为本发明实施例的基于YOLO目标检测算法的轻量级海洋生物检测方法流程图；

图2为本发明实施例采集的原始图像展示图；

图3为本发明实施例原始图片经过水下图像增强处理后的图像；

图4为本发明实施例基于YOLO的轻量级海洋目标生物检测模型架构图；

图5为本发明实施例中最终显示结果图。

具体实施方式

为了更详细的描述本发明，下面结合附图作进一步说明以及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，本实施例提供的基于YOLO目标检测算法的轻量级海洋生物检测方法主要包括以下步骤：

步骤1：将水下相机拍摄的原始海洋环境视频进行分帧处理，获取原始数据图像，如图2所示。

步骤2：将所获取的原始图像，进行基于 UGAN（Underwater GenerativeAdversarial Network）的水下图像增强，获取增强图像。UGAN方法采用无监督方式，可以自动学习到训练数据样本的分布，产生新的数据。

基于 UGAN 的水下图像增强逻 UGAN 模型由生成网络和辨别网络构成，其整体为全卷积结构。生成网络采用 Encoder-Decoder 模式。在 Encoder 部分，由8个卷积层构成，卷积核大小为 4×4，步长为 2。每个卷积层后连接归一化层和斜率为 0.2 的 LeakyReLU激活层。在 Decoder 部分，由8个反卷积层构成，反卷积核大小为 4×4，步长为 2。

辨别网络采用 PatchGAN 设计，输出 32×32×1 的矩阵概率，与普通 GAN 的辨别网络输出的一个实数概率相比，可以获取更多的图像细节信息。训练UGAN 网络之前需要一组图像对，图像对通过 CycleGAN获取，把空气中图像输入到 CycleGAN中，生成对应的水下环境风格图像。然后将空气中图像和水下环境风格图像作为图像对训练 UGAN。生成网络接收一个水下环境风格图像和一个随机噪声，然后经生成网络生成水下生成图像，水下生成图像与对应空气中图像 送入辨别网络进行辨别，若辨别为真，则返回真实标签， 否则，返回生成标签。生成网络与辨别网络互相对抗博弈，直到辨别网络分辨不出水下图像是否真实。

本实施例使用 UGAN 对水下图像进行增强。为展示 UGAN 处理效果，本实施例从数据集随机选择四张具有代表水下环境特性的图 像送入UGAN 模型进行处理，效果如图3所示。图3中左侧图像代表了水下环境常见的图像问题，如模糊、 对比度低、缺色或颜色背景等。右侧图像为 UGAN 增强后的对应图像。由图可见，UGAN 能够对颜色进行校正，使图像更加明亮、清晰。

步骤3：用已经增强过的图像数据，使用labelImg标注工具进行标志，每一个类别对应一个名字，使用矩形框标注生物所在位置，保持标注文件和图像作为训练的数据集。

步骤4：建立基于YOLO的轻量级海洋生物目标检测网络。在该基于YOLO的轻量级海洋生物目标检测网络当中，输入特征图（图片416*416*3规格）通过GhostNet下采样进行特征提取。轻量级目标检测特征提取网络GhostNet由多个G-Neck构成，G-Neck是由两个Ghostmodule组成的，Ghost module是一种轻量化的卷积模块，首先它选取输入特征数据的部分通道作为本征特征数据，通过卷积操作将本征特征图转换为它的“幻影特征图”，再通过拼接的方式将本征特征图与“幻影特征图”进行联合，合并后的输出特征图，可以达到与普通卷积一样的效果的同时而大大减少计算量。G-Neck是Ghost module构成的残差结构，它通过两个Ghost Module合并而成，通过第一个Ghost module减小输入特征图的通道数，再通过第二个Ghost module进行通道扩张，通过G-Neck能够对输入的特征图进行特征提取。Ghost Net则分为多个阶段，每个阶段由不同数量的G-Neck构成，在每一个阶段结束后都会对特征图进行下采样获取具有更加丰富语义信息的特征数据。

M-PAnet是采用了深度可分离卷积的特征融合结构，在GhostNet输出三个规格的特征图后，对三种特征图进行多尺度的融合，由大尺寸的特征图下采样后与小尺寸特征图进行融合，融合后通过深度可分离卷积进行冗余信息过滤。

将数据集根据图片数量划分为训练集(80％)、交叉验证集(10％)、测试集(10％)，训练集的数据用于训练YOLO模型的参数，交叉验证集和测试集用于验证和测试模型的效果。为了使模型的泛化能力更强，对训练集的数据进行数据增强(包括翻转、旋转、添加噪声)。采用预训练的神经网络对训练集的图片进行特征提取，这些网络上的参数对ImageNet大数据库中大量的图像进行了训练，已经具备了从图像中提取丰富信息特征的能力。在预训练的神经网络后连接YOLO特有识别边界框的目标检测层。训练时采用mini-batch梯度下降法，迭代过程中通过反向传播调整网络中的参数。最后，将训练完成的轻量级YOLO模型保存用于之后的海洋生物检测。

并采用已经建立的数据集训练海洋生物目标检测网络，调整网络参数，从而获得海洋生物目标检测模型。

步骤5：将水下相机拍摄的图像或者视频输入海洋生物目标检测模型，检测图像或者视频中海洋生物的所处位置。

以下通过一个具体的实例对本实施例方案做进一步的说明：

图1为本发明实施的基于YOLO目标检测算法的轻量级海洋生物检测方法流程图，下面参照图1，详细说明各个步骤。

步骤A，由于海洋生物多样性，本实施例选取来自水下相机拍摄视频和一些网络图像作为原始图像共3786张。

步骤B：将所获取的原始图像，进行基于 UGAN（Underwater GenerativeAdversarial Network）的水下图像增强，获取增强图像。如图3所示，图3 中左侧图像代表了水下环境常见的图像问题，如模糊、对比度低、缺色或颜色背景等。右侧图像为UGAN 增强后的对应图像。增强后的图像将作为标注的图像。标注后的图像作为训练的数据集。

步骤C：构建基于YOLO的轻量级海洋生物目标检测卷积神经网络，网络的架构图如图4所示，包括轻量级目标检测网络GhostNet和深度可分离卷积构成的特征提取网络M-PAnet，通过之后的训练得到该网络的参数，使该网络可以检测到视频或图像中海洋生物及名称、位置。

步骤D，用准备好的数据集训练上述已构建好的基于YOLO的轻量级海洋生物目标检测卷积神经网络，得到该网络结构的参数，调整学习率、迭代次数、预训练权重，保存最优的网络参数模型。

步骤E，将检测到的图像或者视频输入海洋生物目标检测网络模型，输出海洋生物的检测结果。最终显示结果如图5所示。

本实施例提供的以上方法可以代码化的形式存储在计算机可读取存储介质中，并以计算机程序的方式进行实现，并通过计算机硬件输入计算所需的基本参数信息，并输出计算结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的海洋生物智能检测识别方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (8)

1.一种海洋生物智能检测识别方法，其特征在于，包括以下步骤：

步骤S1：将水下相机拍摄的原始海洋环境视频进行分帧处理，获取原始数据图像；

步骤S2：将所获取的原始图像，进行基于 UGAN的水下图像增强处理，获取增强图像；

步骤S3：将已经增强过的图像数据进行标志，每一个类别对应一个名字，使用矩形框标注生物所在位置，保持标注文件和图像作为训练的数据集；

步骤S4：采用已经建立的数据集训练基于YOLO的轻量级海洋生物目标检测网络，调整网络参数，从而获得海洋生物目标检测模型；

步骤S5：将水下相机拍摄的图像或者视频输入海洋生物目标检测模型，检测图像或者视频中海洋生物的所处位置；

所述基于YOLO的轻量级海洋生物目标检测网络包括轻量级目标检测网络GhostNet和深度可分离卷积构成的特征提取网络M-PAnet。

2.根据权利要求1所述的海洋生物智能检测识别方法，其特征在于：

在所述基于YOLO的轻量级海洋生物目标检测网络当中，输入特征图通过轻量级目标检测网络GhostNet下采样进行特征提取；所述轻量级目标检测特征提取网络GhostNet由多个G-Neck构成，G-Neck由两个Ghost module组成；所述Ghost module是一种轻量化的卷积模块，其首先选取输入特征数据的部分通道作为本征特征数据，通过卷积操作将本征特征图转换为它的“幻影特征图”，再通过拼接的方式将本征特征图与“幻影特征图”进行联合，合并后的输出特征图；所述G-Neck是Ghost module构成的残差结构，通过两个Ghost Module合并而成，通过第一个Ghost module减小输入特征图的通道数，再通过第二个Ghostmodule进行通道扩张，通过G-Neck能够对输入的特征图进行特征提取；Ghost Net则分为多个阶段，每个阶段由不同数量的G-Neck构成，在每一个阶段结束后都会对特征图进行下采样获取具有更加丰富语义信息的特征数据；

所述深度可分离卷积构成的特征提取网络M-PAnet是采用了深度可分离卷积的特征融合结构，在GhostNet输出三个规格的特征图后，对三种特征图进行多尺度的融合，由大尺寸的特征图下采样后与小尺寸特征图进行融合，融合后通过深度可分离卷积进行冗余信息过滤。

3.根据权利要求2所述的海洋生物智能检测识别方法，其特征在于：在步骤S2中，基于UGAN的水下图像增强处理采用的UGAN模型由生成网络和辨别网络构成，其整体为全卷积结构；所述生成网络采用 Encoder-Decoder 模式；在 Encoder 部分，由8个卷积层构成，卷积核大小为 4×4，步长为 2；每个卷积层后连接归一化层和斜率为 0.2 的 LeakyReLU 激活层；在 Decoder 部分，由8个反卷积层构成，反卷积核大小为 4×4，步长为 2；辨别网络采用 PatchGAN 设计，输出 32×32×1 的矩阵概率。

4.根据权利要求3所述的海洋生物智能检测识别方法，其特征在于：训练UGAN 模型采用一组图像对，所述图像对通过 CycleGAN获取，把空气中图像输入到 CycleGAN中，生成对应的水下环境风格图像；然后将空气中图像和水下环境风格图像作为图像对训练 UGAN；生成网络接收一个水下环境风格图像和一个随机噪声，然后经生成网络生成水下生成图像，水下生成图像与对应空气中图像 送入辨别网络进行辨别，若辨别为真，则返回真实标签，否则，返回生成标签；生成网络与辨别网络互相对抗博弈，直到辨别网络分辨不出水下图像是否真实。

5.根据权利要求1所述的海洋生物智能检测识别方法，其特征在于：在步骤S3中，使用labelImg标注工具将已经增强过的图像数据进行标志。

6.根据权利要求1所述的海洋生物智能检测识别方法，其特征在于：在步骤S4中，对基于YOLO的轻量级海洋生物目标检测网络进行训练的具体过程包括：将数据集根据图片数量划分为训练集80％、交叉验证集10％和测试集10％，训练集的数据用于训练YOLO模型的参数，交叉验证集和测试集用于验证和测试模型的效果；为了使模型的泛化能力更强，对训练集的数据进行包括翻转、旋转、添加噪声的数据增强；采用预训练的神经网络对训练集的图片进行特征提取；在预训练的神经网络后连接YOLO特有识别边界框的目标检测层；训练时采用minibatch梯度下降法，迭代过程中通过反向传播调整网络中的参数；最后，将训练完成的轻量级YOLO模型保存用于之后的海洋生物检测。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6其中任一所述的海洋生物智能检测识别方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6其中任一所述的海洋生物智能检测识别方法的步骤。

Images