CN115731282A - 基于深度学习的水下鱼类重量估计方法、系统及电子设备 - Google Patents

Abstract

本发明公开了一种基于深度学习的水下鱼类重量估计方法、系统及电子设备，方法包括：收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集；对所述目标鱼类数据集进行预处理；构建目标鱼类检测模型、轮廓提取模型和重量估计模型，使用获取的目标鱼类数据集训练上述模型；构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理；构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放；将按比例缩放后的轮廓图作为重量估计模型的输入，得到目标鱼类的重量估计结果。本发明能无损、快速地对目标鱼类进行识别、定位和重量估计，对多尺寸目标有良好的识别精度。

Description

基于深度学习的水下鱼类重量估计方法、系统及电子设备

技术领域

本发明属于鱼类智能监测的技术领域，具体涉及一种基于深度学习的水下鱼类重量估计方法、系统及电子设备。

背景技术

近年来，我国水产养殖业的发展规模不断扩大，国家对水产养殖业的重视程度也越来越高，出台了不少和水产养殖有关的扶持政策，而智慧渔业作为重点扶持的水产养殖模式之一，具有广阔的发展前景。智慧渔业模式的核心是将物联网、大数据、人工智能等现代信息技术与水产养殖生产深度融合，对水产养殖的环境、水质、鱼类生长状况等多方面进行监测管理，实时采集数据进行分析，从而实现对生产基地的远程监控，提高生产效率，降低管理难度，增大经济效益。

在智慧水产养殖中，对养殖鱼类的监测是不可或缺的重要环节。通过监测水体中养殖鱼类的重量，可掌握鱼群生长状况，为饵料投放的调整提供参考信息，也能为上市等生产决策提供判断依据。传统的鱼类重量监测方法需对监测对象进行捕捞、称重、肉眼观察等操作，监测过程费时费力，效率较低，目前，对于水中鱼类重量监测的应用较少，Dmitry A等人(2019)提出了一种基于卷积神经网络的鱼类重量估计模型，相较于传统的面积权重数学预测模型具有更高的精度，但该模型局限于对已被捕捞的鱼类进行重量估计，没有对水体中的养殖鱼类进行相关研究。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于深度学习的水下鱼类重量估计方法、系统及电子设备，基于深度学习构建的水下鱼类多指标监测方法，能无损、快速地对目标鱼类进行识别、定位和重量估计，对多尺寸目标有良好的识别精度。

为了达到上述目的，本发明采用以下技术方案：

第一方面，本发明提供了一种基于深度学习的水下鱼类重量估计方法，包括下述步骤：

收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集；

对所述目标鱼类数据集进行预处理；

构建目标鱼类检测模型、轮廓提取模型和重量估计模型，使用获取的目标鱼类数据集训练目标鱼类检测模型、轮廓提取模型和重量估计模型；所述目标鱼类检测模型用于对输入图像进行目标检测，使用锚框标定目标鱼类的位置，得到带有锚框的识别图片；所述轮廓提取模型用于对识别图片的锚框内区域进行边缘分割和轮廓提取，获取目标鱼类的轮廓图；所述重量估计模型基于目标鱼类轮廓图预测目标鱼类的重量；

构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理；

构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同；

将按比例缩放后的轮廓图作为重量估计模型的输入，得到目标鱼类的重量估计结果。

作为优选的技术方案，所述收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集，具体为：

从公开的数据集中获取所需的鱼类图像，包括水下拍摄的鱼类图像和标注有对应重量的鱼类图像；

使用LabelImg工具对收集的鱼类图像进行划分和标注，构建目标鱼类数据集，包括标注水下拍摄的鱼类图像中目标鱼类的位置。

作为优选的技术方案，所述预处理具体为：

使用AutoAugment方法对数据集图像进行数据增广处理；

使用OpenCV对标注有对应质量的鱼类图像进行高斯滤波和灰度化处理

使用letterbox自适应缩放操作统一输入图像的像素尺寸

使用K-means聚类自适应锚框计算获取锚框的设定尺寸。

作为优选的技术方案，所述目标鱼类检测模型，使用改进的YOLOv5目标检测框架训练使用改进的YOLOv5目标检测框架训练，包括Input部分、Backbone部分、Neck部分和Prediction部分；

所述Input部分即为经过预处理后的目标鱼类数据集，包含水下拍摄的鱼类图像及标签信息；

所述Backbone部分包括Focus结构、CSP1_X结构、CBL结构和SPP结构，输入的训练图像数据在Focus结构经切片操作后，变成不同规格的特征图片，再经历一次使用多个卷积核的卷积操作得到特征图，将特征图多次送入CBL结构和CSP1_X结构进行运算操作，运算结构送入SPP结构，以最大池化方式进行多尺度特征图的融合；

所述Neck部分包括FPN结构，在原有FPN结构的基础上引入自适应注意力模块AAM和特征增强模块FEM来减少特征图生成过程中的信息丢失；对于来自FPN结构的特征图，通过AAM的自适应平均池化层获得不同尺度的多个上下文特征，其中池化系数根据数据集的大小自适应变化，随后根据空间注意力机制，为每个特征图生成空间权值图，基于权值图融合上下文特征，生成包含多尺度上下文信息的新特征图，减少了特征提取过程中由于通道减少导致的信息缺失；由AAM生成的新特征图则通过FEM的多分支卷积层和多分支池化层，得到并融合不同大小的感受野的信息，从而提高预测的准确性；

所述Prediction部分采用Complete IoU Loss作为损失函数，使用加权的非最大抑制NMS操作获取带锚框的识别图片。

作为优选的技术方案，所述轮廓提取模型具体为：

使用DeepEdge卷积神经网络框架训练轮廓提取模型，该DeepEdge卷积神经网络框架包含Canny边缘检测器、五个卷积层和一个分叉全连接子网络；

所述Canny边缘检测器首先对输入图像进行高斯滤波，即使用高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值，然后对平滑后的图像使用边缘差分算子计算水平方向和竖直方向的一阶导数，得到图像的梯度幅值和梯度方向，对梯度幅图进行非极大值抑制操作，剔除大部分非边缘点，最后应用上下双边界阀值确定边缘，得到候选轮廓点；

所述卷积层为预训练网络，在候选轮廓点的周围提取不同尺寸的补丁，作为卷积层的输入，进行多次卷积、池化操作提取得到多个特征图；

所述分叉全连接子网络由两个子网络组成，两个子网络使用相同的特征图作为输入，其中一个子网络以分类为目标学习轮廓似然，另一个子网络以预测为目标学习给定轮廓位置，对两个分支计算的标量输出做平均，输出最终轮廓预测结果，最终得到目标鱼类的轮廓分割掩膜图像。

作为优选的技术方案，所述重量估计模型具体为：

使用以ResNet18为编码器的LinkNet神经网络框架训练重量估计模型，该LinkNet神经网络框架包括初始块、编码器、解码器和最终块；

所述初始块通过跨步卷积和最大池化对输入的轮廓掩膜图像进行特征提取，将结果馈入编码器；

所述编码器为ResNet18，网络深度为18层，通过卷积、池化和批量化归一对图像进行下采样操作，将图像信息编码至低维空间，且每个编码器的输出将通过池化索引与相应的解码器直接相连，从而保留下采样过程中损失的空间信息；

所述解码器和最终块对来自编码器的下采样输入通过完全卷积来执行上采样操作，从低维空间重建输入，生成一个表示原始图像标签的数组，最终得到基于图像的目标鱼类重量估计值。

作为优选的技术方案，所述构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理，具体为：

将轮廓提取模型得到的目标鱼类的轮廓图与预设的目标鱼类掩膜形状进行对比，判断其相似度，根据相似度判断鱼身是否和摄像头垂直。

作为优选的技术方案，所述构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同，具体为：

对于鱼身和摄像头垂直的目标鱼类轮廓图，基于摄像头的成像原理和激光测距模块获取的目标鱼类与摄像头间的距离D，结合已知的摄像头的焦距F，以及轮廓掩膜的像素长度P，根据公式W＝(D x P)/F可获取目标鱼类的实际长度W，根据实际长度W将掩膜的像素长度归一化至1mm/pixel，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同。

第二方面，本发明提供了一种基于深度学习的水下鱼类重量估计系统，应用于所述的基于深度学习的水下鱼类重量估计方法，包括数据获取模块、预处理模块、模型构建及训练模块、轮廓对比模块、轮廓图像缩放模块和重量估计模块；

所述数据获取模块，用于收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集；

所述预处理模块，用于对所述目标鱼类数据集进行预处理；

所述模型构建及训练模块，用于构建目标鱼类检测模型、轮廓提取模型和重量估计模型，使用获取的目标鱼类数据集训练目标鱼类检测模型、轮廓提取模型和重量估计模型；所述目标鱼类检测模型用于对输入图像进行目标检测，使用锚框标定目标鱼类的位置，得到带有锚框的识别图片；所述轮廓提取模型用于对识别图片的锚框内区域进行边缘分割和轮廓提取，获取目标鱼类的轮廓图；所述重量估计模型基于目标鱼类轮廓图预测目标鱼类的重量；

所述轮廓对比模块，用于构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理；

所述轮廓图像缩放模块，用于构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同；

所述重量估计模块，用于将按比例缩放后的轮廓图作为重量估计模型的输入，得到目标鱼类的重量估计结果。

第三方面，本发明提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于深度学习的水下鱼类重量估计方法。

本发明与现有技术相比，具有如下优点和有益效果：

本发明基于水下摄像机采集的图像对水下鱼类进行非侵入式的监控，使用引入自适应注意力模块(AAM)和特征增强模块(FEM)的目标检测算法YOLOV5来训练用于目标鱼类定位模型，减少了特征提取过程中由于通道减少导致的信息缺失，提高预测的准确性；使用DeepEdge框架构建目标鱼类轮廓提取模型，能有效提取得到目标鱼类的轮廓图；使用以ResNet18为编码器的LinkNet网络框架训练目标鱼类重量估计模型，训练速度较快，平衡了精度和速度的需求。本发明基于深度学习构建的水下鱼类多指标监测方法，能无损、快速地对目标鱼类进行识别、定位和重量估计，对多尺寸目标有良好的识别精度，相较于基于回归方法的质量估计模型，本发明对水下鱼类的重量估计具有更高的准确度，可用于降低鱼类监测的成本，提高监测的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于深度学习的水下鱼类重量估计方法的流程图；

图2为本发明实施例基于深度学习的水下鱼类重量估计系统的方框图；

图3为本发明实施例电子设备的结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

请参阅图1，本实施例为一种基于深度学习的水下鱼类重量估计方法，该方法包括以下步骤：

S1、收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集，具体为:

S11、从网上公开的数据集中收集所需目标鱼类图像，以鲈鱼为例，可在伊兹密尔经济大学发布的大型鱼类数据集中获取数千张鲈鱼图像；从Australian ResearchCouncil Linkage Program发布的鲈鱼数据集中可获得约2500张标注有重量的鲈鱼图像。

S12、使用LabelImg工具对收集的图像进行划分和标注，标注鲈鱼所在位置，并对部分标注有重量的鲈鱼图像进行手工掩膜分割。

S2、对数据集进行预处理，具体为：

S21、使用AutoAugment方法对数据集图像进行数据增广处理；

S22、使用OpenCV对标注有对应质量的鱼类图像进行高斯滤波和灰度化处理；

S23、使用letterbox自适应缩放操作统一输入图像的像素尺寸；

S24、使用K-means聚类自适应锚框计算获取锚框的最佳尺寸。

S3、使用获取的数据集训练模型，构建目标鱼类检测模型，轮廓提取模型和重量估计模型；所述目标鱼类检测模型用于对输入图像进行目标检测，使用锚框标定目标鱼类的位置，得到带有锚框的识别图片；所述轮廓提取模型用于对识别图片的锚框内区域进行边缘分割和轮廓提取，获取目标鱼类的轮廓图；所述重量估计模型基于目标鱼类轮廓图预测目标鱼类的重量；

S31、构建目标鱼类检测模型，具体为：

使用改进的YOLOv5目标检测框架训练神经网络模型，包括Input部分、Backbone部分、Neck部分和Prediction部分；

所述Input部分即为经过预处理后的训练数据集，包含水下拍摄的鱼类图像及标签信息；

所述Backbone部分为该框架的主干部分，包括Focus结构、CSP1_X结构、CBL结构和SPP结构，输入的训练图像数据在Focus结构经切片操作后，变成不同规格的特征图片，再经历一次使用多个卷积核的卷积操作得到特征图，将特征图多次送入CBL结构和CSP1_X结构进行运算操作，运算结构送入SPP结构，以最大池化方式进行多尺度特征图的融合；

所述Neck部分主要包括FPN结构，在原有FPN结构的基础上，本发明引入自适应注意力模块(AAM)和特征增强模块(FEM)来减少特征图生成过程中的信息丢失。对于来自FPN结构的特征图，通过AAM的自适应平均池化层获得不同尺度的多个上下文特征，其中池化系数根据数据集的大小自适应变化，随后根据空间注意力机制，为每个特征图生成空间权值图，基于权值图融合上下文特征，生成包含多尺度上下文信息的新特征图，减少了特征提取过程中由于通道减少导致的信息缺失。由AAM生成的新特征图则通过FEM的多分支卷积层和多分支池化层，得到并融合不同大小的感受野的信息，从而提高预测的准确性；

所述Prediction部分采用Complete IoU(CIoU)Loss作为损失函数，使用加权的非最大抑制NMS操作获取带锚框的识别图片。

S32、构建轮廓提取模型，具体为：

使用DeepEdge卷积神经网络框架训练轮廓提取模型，该框架包含Canny边缘检测器，五个卷积层和一个分叉全连接子网络；

所述Canny边缘检测器首先对输入图像进行高斯滤波，即使用高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值，然后对平滑后的图像使用边缘差分算子计算水平方向和竖直方向的一阶导数，得到图像的梯度幅值和梯度方向，对梯度幅图进行非极大值抑制操作，剔除大部分非边缘点，最后应用上下双边界阀值确定边缘，得到候选轮廓点；

所述卷积层为预训练网络，在候选轮廓点的周围提取不同尺寸的补丁，作为卷积层的输入，进行多次卷积、池化操作提取得到多个特征图；

所述分叉全连接子网络由两个子网络组成，两个子网络使用相同的特征图作为输入，其中一个子网络以分类为目标学习轮廓似然，另一个子网络以预测为目标学习给定轮廓位置，对两个分支计算的标量输出做平均，输出最终轮廓预测结果，最终得到目标鱼类的轮廓分割掩膜图像。

S33、构建重量估计模型，具体为：

使用以ResNet18为编码器的LinkNet神经网络框架训练重量估计模型，该框架包含初始块、编码器、解码器和最终块组成；

所述初始块通过跨步卷积和最大池化操作对输入的轮廓掩膜图像进行特征提取，将结果馈入编码器；

所述编码器为ResNet18，网络深度为18层，通过卷积、池化和批量化归一对图像进行下采样操作，将图像信息编码至低维空间，且每个编码器的输出将通过池化索引与相应的解码器直接相连，从而保留下采样过程中损失的空间信息；

所述解码器和最终块对来自编码器的下采样输入通过完全卷积来执行上采样操作，从低维空间重建输入，生成一个表示原始图像标签的数组，最终得到基于图像的目标鱼类重量估计值。

S4、使用轮廓提取模型对识别图片的锚框内区域进行边缘分割和轮廓提取，获取目标鱼类的轮廓掩膜图，具体为：

将待检测图像输入至目标鱼类检测器中，得到带有锚框的识别图片，裁剪图片，只留下锚框内的部分，将这部分作为轮廓提取模型的输入，得到目标鱼类的轮廓掩膜图。

S5、构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理，具体为：

使用OpenCV的图像匹配工具对比轮廓提取模型输出的轮廓掩膜图和预设的目标鱼类掩膜形状，判断相似度是否达到90％，如低于90％则放弃使用该图像进行重量估计，如高于90％，则对相应的轮廓图进行后续处理。

S6、构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同，具体为：

对于鱼身和摄像头垂直的目标鱼类轮廓图，基于摄像头的成像原理和激光测距模块获取的目标鱼类与摄像头间的距离D，结合已知的摄像头的焦距F，以及轮廓掩膜的像素长度P，根据公式W＝(D x P)/F可获取目标鱼类的实际长度W，根据实际长度W将掩膜的像素长度归一化至1mm/pixel，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同。

S7、将按比例缩放后的轮廓图作为于重量估计模型的输入，得到目标鱼类的重量估计结果，具体为：

将经过S6归一化操作后的轮廓掩膜图作为于重量估计模型的输入，输出得到目标鱼类的重量估计结果。

本发明基于水下摄像机采集的图像对水下鱼类进行非侵入式的监控，使用引入自适应注意力模块(AAM)和特征增强模块(FEM)的目标检测算法YOLOV5来训练用于目标鱼类定位模型，减少了特征提取过程中由于通道减少导致的信息缺失，提高预测的准确性；使用DeepEdge框架构建目标鱼类轮廓提取模型，能有效提取得到目标鱼类的轮廓图；使用以ResNet18为编码器的LinkNet网络框架训练目标鱼类重量估计模型，训练速度较快，平衡了精度和速度的需求。本发明基于深度学习构建的水下鱼类多指标监测方法，能无损、快速地对目标鱼类进行识别、定位和重量估计，对多尺寸目标有良好的识别精度，相较于基于回归方法的质量估计模型，本发明对水下鱼类的重量估计具有更高的准确度，可用于降低鱼类监测的成本，提高监测的效率。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

基于与上述实施例中的基于深度学习的水下鱼类重量估计方法相同的思想，本发明还提供了基于深度学习的水下鱼类重量估计系统，该系统可用于执行上述基于深度学习的水下鱼类重量估计方法。为了便于说明，基于深度学习的水下鱼类重量估计系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

请参阅图2，在本申请的另一个实施例中，提供了一种基于深度学习的水下鱼类重量估计系统100，该系统包括数据获取模块101、预处理模块102、模型构建及训练模块103、轮廓对比模块104、轮廓图像缩放模块105和重量估计模块106；

所述数据获取模块101，用于收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集；

所述预处理模块102，用于对所述目标鱼类数据集进行预处理；

所述模型构建及训练模块103，用于构建目标鱼类检测模型、轮廓提取模型和重量估计模型，使用获取的目标鱼类数据集训练目标鱼类检测模型、轮廓提取模型和重量估计模型；所述目标鱼类检测模型用于对输入图像进行目标检测，使用锚框标定目标鱼类的位置，得到带有锚框的识别图片；所述轮廓提取模型用于对识别图片的锚框内区域进行边缘分割和轮廓提取，获取目标鱼类的轮廓图；所述重量估计模型基于目标鱼类轮廓图预测目标鱼类的重量；

所述轮廓对比模块104，用于构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理；

所述轮廓图像缩放模块105，用于构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同；

所述重量估计模块106，用于将按比例缩放后的轮廓图作为重量估计模型的输入，得到目标鱼类的重量估计结果。

需要说明的是，本发明的基于深度学习的水下鱼类重量估计系统与本发明的基于深度学习的水下鱼类重量估计方法一一对应，在上述基于深度学习的水下鱼类重量估计方法的实施例阐述的技术特征及其有益效果均适用于基于深度学习的水下鱼类重量估计的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。

此外，上述实施例的基于深度学习的水下鱼类重量估计系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于深度学习的水下鱼类重量估计系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

请参阅图3，在一个实施例中，提供了一种实现基于深度学习的水下鱼类重量估计方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如基于深度学习的水下鱼类重量估计程序203。

其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如基于深度学习的水下鱼类重量估计程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。

图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

所述电子设备200中的所述第一存储器202存储的基于深度学习的水下鱼类重量估计程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：

收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集；

对所述目标鱼类数据集进行预处理；

构建目标鱼类检测模型、轮廓提取模型和重量估计模型，使用获取的目标鱼类数据集训练目标鱼类检测模型、轮廓提取模型和重量估计模型；所述目标鱼类检测模型用于对输入图像进行目标检测，使用锚框标定目标鱼类的位置，得到带有锚框的识别图片；所述轮廓提取模型用于对识别图片的锚框内区域进行边缘分割和轮廓提取，获取目标鱼类的轮廓图；所述重量估计模型基于目标鱼类轮廓图预测目标鱼类的重量；

构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理；

构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同；

将按比例缩放后的轮廓图作为重量估计模型的输入，得到目标鱼类的重量估计结果。

进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于深度学习的水下鱼类重量估计方法，其特征在于，包括下述步骤：

收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集；

对所述目标鱼类数据集进行预处理；

构建目标鱼类检测模型、轮廓提取模型和重量估计模型，使用获取的目标鱼类数据集训练目标鱼类检测模型、轮廓提取模型和重量估计模型；所述目标鱼类检测模型用于对输入图像进行目标检测，使用锚框标定目标鱼类的位置，得到带有锚框的识别图片；所述轮廓提取模型用于对识别图片的锚框内区域进行边缘分割和轮廓提取，获取目标鱼类的轮廓图；所述重量估计模型基于目标鱼类轮廓图预测目标鱼类的重量；

构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理；

构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同；

将按比例缩放后的轮廓图作为重量估计模型的输入，得到目标鱼类的重量估计结果。

2.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集，具体为：

从公开的数据集中获取所需的鱼类图像，包括水下拍摄的鱼类图像和标注有对应重量的鱼类图像；

使用LabelImg工具对收集的鱼类图像进行划分和标注，构建目标鱼类数据集，包括标注水下拍摄的鱼类图像中目标鱼类的位置。

3.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述预处理具体为：

使用AutoAugment方法对数据集图像进行数据增广处理；

使用OpenCV对标注有对应质量的鱼类图像进行高斯滤波和灰度化处理

使用letterbox自适应缩放操作统一输入图像的像素尺寸

使用K-means聚类自适应锚框计算获取锚框的设定尺寸。

4.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述目标鱼类检测模型，使用改进的YOLOv5目标检测框架训练使用改进的YOLOv5目标检测框架训练，包括Input部分、Backbone部分、Neck部分和Prediction部分；

所述Input部分即为经过预处理后的目标鱼类数据集，包含水下拍摄的鱼类图像及标签信息；

所述Backbone部分包括Focus结构、CSP1_X结构、CBL结构和SPP结构，输入的训练图像数据在Focus结构经切片操作后，变成不同规格的特征图片，再经历一次使用多个卷积核的卷积操作得到特征图，将特征图多次送入CBL结构和CSP1_X结构进行运算操作，运算结构送入SPP结构，以最大池化方式进行多尺度特征图的融合；

所述Neck部分包括FPN结构，在原有FPN结构的基础上引入自适应注意力模块AAM和特征增强模块FEM来减少特征图生成过程中的信息丢失；对于来自FPN结构的特征图，通过AAM的自适应平均池化层获得不同尺度的多个上下文特征，其中池化系数根据数据集的大小自适应变化，随后根据空间注意力机制，为每个特征图生成空间权值图，基于权值图融合上下文特征，生成包含多尺度上下文信息的新特征图，减少了特征提取过程中由于通道减少导致的信息缺失；由AAM生成的新特征图则通过FEM的多分支卷积层和多分支池化层，得到并融合不同大小的感受野的信息，从而提高预测的准确性；

所述Prediction部分采用Complete IoU Loss作为损失函数，使用加权的非最大抑制NMS操作获取带锚框的识别图片。

5.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述轮廓提取模型具体为：

使用DeepEdge卷积神经网络框架训练轮廓提取模型，该DeepEdge卷积神经网络框架包含Canny边缘检测器、五个卷积层和一个分叉全连接子网络；

所述Canny边缘检测器首先对输入图像进行高斯滤波，即使用高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值，然后对平滑后的图像使用边缘差分算子计算水平方向和竖直方向的一阶导数，得到图像的梯度幅值和梯度方向，对梯度幅图进行非极大值抑制操作，剔除大部分非边缘点，最后应用上下双边界阀值确定边缘，得到候选轮廓点；

所述卷积层为预训练网络，在候选轮廓点的周围提取不同尺寸的补丁，作为卷积层的输入，进行多次卷积、池化操作提取得到多个特征图；

所述分叉全连接子网络由两个子网络组成，两个子网络使用相同的特征图作为输入，其中一个子网络以分类为目标学习轮廓似然，另一个子网络以预测为目标学习给定轮廓位置，对两个分支计算的标量输出做平均，输出最终轮廓预测结果，最终得到目标鱼类的轮廓分割掩膜图像。

6.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述重量估计模型具体为：

使用以ResNet18为编码器的LinkNet神经网络框架训练重量估计模型，该LinkNet神经网络框架包括初始块、编码器、解码器和最终块；

所述初始块通过跨步卷积和最大池化对输入的轮廓掩膜图像进行特征提取，将结果馈入编码器；

所述编码器为ResNet18，网络深度为18层，通过卷积、池化和批量化归一对图像进行下采样操作，将图像信息编码至低维空间，且每个编码器的输出将通过池化索引与相应的解码器直接相连，从而保留下采样过程中损失的空间信息；

所述解码器和最终块对来自编码器的下采样输入通过完全卷积来执行上采样操作，从低维空间重建输入，生成一个表示原始图像标签的数组，最终得到基于图像的目标鱼类重量估计值。

7.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理，具体为：

将轮廓提取模型得到的目标鱼类的轮廓图与预设的目标鱼类掩膜形状进行对比，判断其相似度，根据相似度判断鱼身是否和摄像头垂直。

8.根据权利要求1所述基于深度学习的水下鱼类重量估计方法，其特征在于，所述构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同，具体为：

对于鱼身和摄像头垂直的目标鱼类轮廓图，基于摄像头的成像原理和激光测距模块获取的目标鱼类与摄像头间的距离D，结合已知的摄像头的焦距F，以及轮廓掩膜的像素长度P，根据公式W＝(D x P)/F可获取目标鱼类的实际长度W，根据实际长度W将掩膜的像素长度归一化至1mm/pixel，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同。

9.基于深度学习的水下鱼类重量估计系统，其特征在于，应用于权利要求1-8中任一项所述的基于深度学习的水下鱼类重量估计方法，包括数据获取模块、预处理模块、模型构建及训练模块、轮廓对比模块、轮廓图像缩放模块和重量估计模块；

所述数据获取模块，用于收集目标鱼类图像，对图像进行划分和标注，构建目标鱼类数据集；

所述预处理模块，用于对所述目标鱼类数据集进行预处理；

所述模型构建及训练模块，用于构建目标鱼类检测模型、轮廓提取模型和重量估计模型，使用获取的目标鱼类数据集训练目标鱼类检测模型、轮廓提取模型和重量估计模型；所述目标鱼类检测模型用于对输入图像进行目标检测，使用锚框标定目标鱼类的位置，得到带有锚框的识别图片；所述轮廓提取模型用于对识别图片的锚框内区域进行边缘分割和轮廓提取，获取目标鱼类的轮廓图；所述重量估计模型基于目标鱼类轮廓图预测目标鱼类的重量；

所述轮廓对比模块，用于构建目标鱼类轮廓对比器，判断鱼身是否和摄像头垂直，当两者垂直时，对相应的轮廓图进行后续处理；

所述轮廓图像缩放模块，用于构建目标鱼类轮廓图缩放器，对输入轮廓图的像素尺寸进行缩放，使其像素尺寸与实物尺寸的比例与重量估计模型的训练数据的对应比例相同；

所述重量估计模块，用于将按比例缩放后的轮廓图作为重量估计模型的输入，得到目标鱼类的重量估计结果。

10.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8中任意一项所述的基于深度学习的水下鱼类重量估计方法。

Images