CN114037737A - 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法 - Google Patents

Abstract

本发明公开了一种基于神经网络的近岸海底鱼类检测及跟踪统计方法，本发明通过对输入的水下实时视频进行FcycleGAN图像迁移处理生成清晰图像，之后输入到基础神经网络Darknet53处理，来提取出视频中鱼的特征，主要包括鱼的形状特征、纹理特征等，检测分支分两阶段检测，最后输出鱼的具体位置和种类，跟踪分支输出鱼质点游动的雅可比矩阵和距离向量、然后将预测的位置的一定范围的鱼类和之前位置的鱼类进行匹配，从而由此得出每张图片中的鱼的位置、类别、编号。

Description

一种基于神经网络的近岸海底鱼类检测及跟踪统计方法

技术领域

本发明涉及海底探索、检测领域，具体涉及一种基于神经网络的近岸海底鱼类检测及跟踪统计方法。

背景技术

海洋有非常丰富的生物资源；因此，沿海国家正在大力发展海洋牧场，特别是渔业增养殖型海洋牧场。联合国粮食及农业组织，联合国粮农组织记录了2016年海洋牧场的全球食用鱼产量为2870万吨（674亿美元），产量占2016年世界水产养殖总产量的49.5%，当前，近海捕鱼正在被过度开发，水产养殖业也正处于饱和状态；因此，海洋牧场经营被认为是解决渔业资源下降的重要途径，然而，海洋牧场经营也存在一些问题（如过度捕捞、生态系统失衡等），通过加强对水下生物资源的监测，可以根据水下生物资源的变化来控制捕捞的时机和强度，从而解决上述问题，对于海洋牧场来说，实时监测生物数量可以形成科学渔业管理和可持续鱼类生产的保护策略的基础，此外，鱼类资源统计数据有助于研究人员了解物种丰富度，相应的鱼类资源统计数据可以结合当地的海况进行分析，从而确定适合每个物种生存的条件，因此，该技术具有重要的现实意义。

在过去十年中，渔业管理领域引入了几种跟踪和检测方法，在检测算法中，传统的研究方法是通过融合多传感器和多特征信息提取水下目标的精细特征，例如，Ishibashi等人利用光学传感器获取水下目标的特定图像，Saini和Biswas通过使用自适应阈值检测边缘来检测目标，目前主流的方法是使用水下摄像机捕捉物体，深度学习算法提取特征，Faster-RCNN和Resnet等深度学习算法已应用于水下生物识别过程，如海参识别（Xia etal.，2018）和鱼类检测算法（CN202010003815.0），这种检测算法的主要问题是无法识别两帧中的鱼是否是同一动物；因此，需要一个跟踪模型，在跟踪算法中，传统的滤波方法，如粒子滤波、光流法和目标分割，是主要的方法，它们主要是在受控条件下进行测试，如在一个受限的实验室环境中，例如，Chuang利用对象分割和对象高度块体立体匹配来跟踪鱼，该方法将鱼分成多个部分进行匹配，忽略了鱼的整体特征，Sun提出了一种具有多个静态摄像机和重叠视场的水下监视系统的一致鱼类跟踪策略。采用加速鲁棒特征技术和质心坐标同形映射技术捕获鱼类，然而，这种方法不能识别鱼的种类，Romero-Ferrero提出了一种自动方法，以跟踪小或大的无标记动物群体中的所有个体，他们的算法对100人以下的群体具有很高的准确率；然而，这种方法必须在理想的实验室环境中执行，Meng-Che提出了一种鱼类分割与跟踪算法，该算法通过对双局部阈值图像采用直方图反投影的方法，克服了对比度低的问题，保证了鱼类形状边界的精确分割，然而，使用这种方法，鱼的突然移动可能会导致跟踪失败，此外，该算法过于复杂，难以实现实时跟踪。

近年来，人们提出了几种利用机器视觉技术跟踪鱼类丰度和实现鱼类种群自动计数的方法，例如，Song等人（2020）提出了一种基于混合神经网络模型的鱼类自动计数方法，以实现远洋鲑鱼养殖中实时、准确、客观、无损的鱼类种群计数，其采用多列卷积神经网络作为前端，捕捉不同感受野的特征信息，同时，后端采用更宽更深的扩张型卷积神经网络，以减少网络传输过程中空间结构信息的损失。最后，构建了混合神经网络模型，然而，这种方法的主要局限性是将鱼视为颗粒，不能对鱼的类型进行分类，Marini等人（2018）开发了一种基于遗传规划的基于内容的图像分析方法，然而，当大量鱼类聚集在摄像机前时，拥挤的场景限制了识别效率，当这些聚集特别密集时，个体通常会相互重叠，这增加了假阴性率。目前的现有技术是针对水下鱼类图像分类和识别，它们存在的问题在于该类方法不利于鱼群的数量统计，会产生严重误差，比如当鱼游出镜头再重新游入时，无法分辨是否和之前识别的鱼是同一条鱼，由此在数量统计时就会出现冗余误差。而Li (2021)提出了针对近岸海底鱼类检测和跟踪方法专利，实现了水下一种新的双分支检测跟踪算法，但是在实现追踪时依赖于粒子滤波的迭代器预测方向，其中粒子滤波器的迭代方程采用的是简单非线性方程，对于鱼这种非刚性生物来说，较难拟合鱼复杂的行为模式，从而造成了较大误差，而本专利首先实现了检测识别和跟踪算法的融合，可以追踪每条鱼的轨迹变化，从而减小了数量统计误差，其次采用神经网络的拟合能力实时学习鱼群轨迹行为，预测的方向和距离向量每次都会迭代改变，从而提高了模型的跟踪性能。

发明内容

本发明的目的在于，涉及现实海洋牧场恶劣环境中有问题的场景和实际困难，解决多类多目标实时跟踪问题以及水下浑浊度较高难识别的问题，保持较高准确率的同时，完成实时性要求，将目标检测和目标跟踪整合到一起。

为实现上述目的，本发明提供一种基于神经网络的近岸海底鱼类检测及跟踪统计方法包括：

步骤1：获取鱼类水下实时视频，将所述水下实时视频分解为包括海底鱼类的鱼类图像，对所述鱼类图像进行预处理，将所述鱼类图像由原始尺寸切割到指定尺寸，汇总得到数据集，运用无监督图像分割算法对水下图像信息进行图像分割，生成标签列，通过FcycleGAN神经网络对所述水下图像信息与所述标签列进行训练，获得清晰图像，所述标签列是作为类别的辅助信息帮助训练；

步骤2：搭建FDT神经网络结构，根据神经网络Darknet53，运用基于深度学习的并行双分支结构，提取鱼类特征图，对不同尺度的所述鱼类特征图应用金字塔方式进行融合，得到最终特征图；

步骤3：根据鱼的类型划分为无鳍品种和有鳍品种，检测过程分为两阶段检测，第一阶段对所述鱼类特征图进行建模并进行非线性变化处理，若为无鳍品种，则输出所述清晰图像中鱼的位置和种类，所得结果用于直接用于最后处理，若为有鳍品种，则进入第二阶段进行图像矫正，输入所述鱼类特征图，拟合所述有鳍品种鳍的纹理向量、鳍的相对位置向量和鳍的数量向量，分析汇总后输出所述有鳍品种具体种类；

步骤4：跟踪过程将所述检测过程中上一帧检测出的带有鱼的框的中心点作为每条鱼的质点，通过所述神经网络Darknet53得到每个所述质点的雅可比矩阵和距离向量，将所述雅可比矩阵和所述距离向量代入泰勒公式，得到计算下一帧游动的位置点，通过对所述位置点附近的检测框应用欧式距离公式，判断所述位置点与所述检测框位置关系，得到所述检测框得分数值，对所述得分数值进行排列，筛选并获得所述得分数值小于预设阈值的鱼的ID；

步骤5：将近岸海底鱼类检测及跟踪结果汇总并显示，将所述检测过程和所述跟踪过程得到的信息进行综合处理得出最终输出结果，并对所述最终输出结果进行在线检测跟踪。

根据本发明的一个方面，所述第一阶段进一步包括：

所述第一阶段主要依据鱼的整体纹理信息和鱼鳞形状信息等总体信息来区分不同种类的鱼类，并定位其位置坐标。

根据本发明的一个方面，所述雅可比矩阵和所述距离向量包括：

所述雅可比矩阵为2*2的矩阵形式，预测下一帧鱼游动的方向，所述距离向量是2*1向量，预测下一帧鱼向x、y方向游动的距离。

根据本发明的一个方面，所述预处理的方法为：

以所述鱼类图像最长边作为参考边计算缩放因子，通过双线性插值将所述鱼类图像缩放至608×342，对所述鱼类图像的上下边进行零填充，得到裁剪后指定尺寸为608×608的所述鱼类图像。

根据本发明的一个方面，所述无监督图像分割算法为：

将所述数据集放入8层神经网络中迭代20次，每次迭代从鱼类特征中选取较大者作为聚类标签，进行聚类后，统计每个聚类中出现次数最多的所述聚类标签，将所述聚类标签中所有像素记录为类别，得到所述类别低于设定数值的图像分割图。

根据本发明的一个方面，8层神经网络进一步包括：

所述8层神经网络包括5层卷积层、2层最大池化层、1层全连接层和8通道作为类别通道，从所述类别通道中选取最大值作为所述聚类标签。

根据本发明的一个方面，所述泰勒公式计算方法为：

其中，

表示上一帧检测到的鱼的所述雅可比矩阵；

表示鱼的所述距离向量；

为上一帧鱼的位置特征；

为预测位置特征。

为实现上述目的，本发明提供一种基于神经网络的近岸海底鱼类检测及跟踪统计系统，包括：

数据采集模块：获取鱼类水下实时视频，将所述水下实时视频分解为包括海底鱼类的鱼类图像，对所述鱼类图像进行预处理，将所述鱼类图像由原始尺寸切割到指定尺寸，汇总得到数据集，运用无监督图像分割算法对水下图像信息进行图像分割，生成标签列，通过FcycleGAN神经网络对所述水下图像信息与所述标签列进行训练，获得清晰图像，所述标签列是作为类别的辅助信息帮助训练；

特征提取模块：搭建FDT神经网络结构，根据神经网络Darknet53，运用基于深度学习的并行双分支结构，提取鱼类特征图，对不同尺度的所述鱼类特征图应用金字塔方式进行融合，得到最终特征图；

种类判断模块：根据鱼的类型划分为无鳍品种和有鳍品种，检测过程分为两阶段检测，第一阶段对所述鱼类特征图进行建模并进行非线性变化处理，若为无鳍品种，则输出所述清晰图像中鱼的位置和种类，所得结果用于直接用于最后处理，若为有鳍品种，则进入第二阶段进行图像矫正，输入所述鱼类特征图，拟合所述有鳍品种鳍的纹理向量、鳍的相对位置向量和鳍的数量向量，分析汇总后输出所述有鳍品种具体种类；

鱼类追踪模块：跟踪过程将所述检测过程中上一帧检测出的带有鱼的框的中心点作为每条鱼的质点，通过所述神经网络Darknet53得到每个所述质点的雅可比矩阵和距离向量，将所述雅可比矩阵和所述距离向量代入泰勒公式，得到计算下一帧游动的位置点，通过对所述位置点附近的检测框应用欧式距离公式，判断所述位置点与所述检测框位置关系，得到所述检测框得分数值，对所述得分数值进行排列，筛选并获得所述得分数值小于预设阈值的鱼的ID；

集成显示模块：将近岸海底鱼类检测及跟踪结果汇总并显示，将所述检测过程和所述跟踪过程得到的信息进行综合处理得出最终输出结果，并对所述最终输出结果进行在线检测跟踪。

为实现上述目的，本发明提供一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述针对基于神经网络的近岸海底鱼类检测及跟踪统计方法。

为实现上述目的，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述针对基于神经网络的近岸海底鱼类检测及跟踪统计方法。

基于此，本发明的有益效果在于：

（1）将检测和多目标跟踪算法融合到一个框架中，从而实现多类别鱼群的跟踪统计，而采用端到端的统一神经网络架构，可以实现在线处理，在输入视频的同时输出统计结果；

（2）本发明提出来端到端的神经网络框架，可以在输入视频的同时，直接输出结果，并在输入端提出了一种图像迁移增强算法，显著提高了图像的准确率。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1示意性表示根据本发明的一种基于神经网络的近岸海底鱼类检测及跟踪统计方法的流程图；

图2示意性表示根据本发明实施例提供的经FcycleGAN图像迁移处理前的原图；

图3示意性表示根据本发明实施例提供的经FcycleGAN图像迁移处理后的图；

图4示意性表示根据本发明实施例提供FcycleGAN算法架构图；

图5示意性表示根据本发明实施例提供FDT算法架构图；

图6示意性表示根据本发明实施例提供的鱼类检测示意图；

图7示意性表示根据本发明的一种基于神经网络的近岸海底鱼类检测及跟踪统计系统的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护范围。

在本发明的描述中，除非另有说明，术语“顶”、“底”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在发明中的具体含义。

图1示意性表示根据本发明的一种基于神经网络的近岸海底鱼类检测及跟踪统计方法的流程图，根据如图1所示，本发明实施例提供的一种基于神经网络的近岸海底鱼类检测及跟踪统计方法，应用于鱼类种群统计。

鱼类种群统计技术主要包括两部分，一是对水下鱼类进行准确识别，二是对每一帧中识别出的鱼类进行匹配，形成跟踪轨迹。

第一部分是目标识别任务,目前，在计算机视觉领域有很多目标识别算法已经达到人眼识别的精度，但它们只专注于陆地上的物体识别；且对水下复杂环境的识别精度较低，因为光在水下传播中会出现折射和反射，导致混浊的水中光照不均匀，而且同波长的光衰减率不同，水下环境会发生色彩偏移现象；基于上述原因，水下拍摄的图像存在质量下降的问题，如对比度低、颜色失真和纹理模糊，因此，很难区分海洋动物。

第二部分主要是多目标跟踪任务，这个任务是将两帧中识别的对象进行匹配，确定视频中对象的ID，然而，目前的多目标跟踪算法主要集中在单类多目标跟踪，多类多目标跟踪的工作量较少，主流算法是先识别后跟踪的两阶段算法，无法满足实时性要求，目前能够同时识别和跟踪的端到端算法精度较低，此外，许多鱼在大小和外观是相似的，因此很难根据鱼的纹理和大小来区分这种鱼，需要进行许多实验才能创建一个可用的模型；而且，鱼在所有方向上的游动具有不规律性；因此，鱼类变形和遮挡现象会经常发生。

本发明提供的一种基于神经网络的近岸海底鱼类检测及跟踪统计方法，包括以下步骤：

101：获取鱼类水下实时视频，将水下实时视频分解为包括海底鱼类的鱼类图像，对鱼类图像进行预处理，将鱼类图像由原始尺寸切割到指定尺寸，汇总得到数据集，运用无监督图像分割算法对水下图像信息进行图像分割，生成标签列，通过FcycleGAN神经网络对水下图像信息与标签列进行训练，获得清晰图像，标签列是作为类别的辅助信息帮助训练；

102：搭建FDT神经网络结构，根据神经网络Darknet53，运用基于深度学习的并行双分支结构，提取鱼类特征图，对不同尺度的鱼类特征图应用金字塔方式进行融合，得到最终特征图；

103：根据鱼的类型划分为无鳍品种和有鳍品种，检测过程分为两阶段检测，第一阶段对鱼类特征图进行建模并进行非线性变化处理，若为无鳍品种，则输出清晰图像中鱼的位置和种类，所得结果用于直接用于最后处理，若为有鳍品种，则进入第二阶段进行图像矫正，输入鱼类特征图，拟合有鳍品种鳍的纹理向量、鳍的相对位置向量和鳍的数量向量，分析汇总后输出有鳍品种具体种类；

104：跟踪过程将检测过程中上一帧检测出的带有鱼的框的中心点作为每条鱼的质点，通过神经网络Darknet53得到每个质点的雅可比矩阵和距离向量，将雅可比矩阵和距离向量代入泰勒公式，得到计算下一帧游动的位置点，通过对位置点附近的检测框应用欧式距离公式，判断位置点与检测框位置关系，得到检测框得分数值，对得分数值进行排列，筛选并获得得分数值小于预设阈值的鱼的ID；

105：将近岸海底鱼类检测及跟踪结果汇总并显示，将检测过程和跟踪过程得到的信息进行综合处理得出最终输出结果，并对最终输出结果进行在线检测跟踪。

根据本发明的一个实施方式，以鱼类图像最长边作为参考边计算缩放因子，通过双线性插值将鱼类图像缩放至608×342，对鱼类图像的上下边进行零填充，得到裁剪后指定尺寸为608×608的鱼类图像。

根据本发明的一个实施方式，将数据集放入8层神经网络中迭代20次，每次迭代从鱼类特征中选取较大者作为聚类标签，进行聚类后，统计每个聚类中出现次数最多的聚类标签，将聚类标签中所有像素记录为类别，得到类别低于设定数值的图像分割图。

根据本发明的一个实施方式，8层神经网络包括5层卷积层、2层最大池化层、1层全连接层和8通道作为类别通道，从类别通道中选取最大值作为聚类标签。

根据本发明的一个实施方式，图2示意性表示根据本发明实施例提供的经FcycleGAN图像迁移处理前的原图；图3示意性表示根据本发明实施例提供的经FcycleGAN图像迁移处理后的图，如图2和图3所示，对于FcycleGAN网络的使用分为训练和推理两部分，在训练阶段时使用FcycleGAN的生成网络和判别网络，而在推理时只使用FcycleGAN的生成网络。图4示意性表示根据本发明实施例提供FcycleGAN算法架构图，如图4所示，FcycleGAN是有两个生成网络，在训练阶段是使用夜间模糊图像和分割图作为生成网络1的输入，之后将生成图和分割图作为生成网络2的输入，然后判断原图和生成网络2的生成图的相似度，这是第一次迭代，第二次迭代是使用白天清晰图像和分割图作为生成网络1的输入，之后将生成图和分割图作为生成网络2的输入，然后判断原图和生成网络2的生成图的相似度，这两次迭代作为一组，形成一种镜像映射操作。训练阶段以生成图可以骗过判别网络的识别为停止，知道判别网络分不出生成图是白天还是黑夜。而在推理阶段，只是将分割图和原图作为生成网络的输入即可，就能输出清晰图片，明显提高了图片的对比度。

根据本发明的一个实施方式，图5示意性表示根据本发明实施例提供FDT算法架构图，如图5所示，FDT神经网络推理过程为；将图片输入到FDT神经网络结构中，提取出视频中的特征，将三种尺度的特征图进行通道拼接，将拼接后的特征图输入到检测分支和跟踪分支，在两分支中通过对特征建模，进行线形变化，检测分支分两阶段检测，图6示意性表示根据本发明实施例提供的鱼类检测示意图，如图6所示，第一阶段为粗检测，第二阶段为细检测，第一阶段利用Darknet53提取出鱼的整体纹理信息（颜色信息，尺寸比例大小）、鱼鳞形状信息等，并通过预测Anchor中心点的偏移量来定位其位置坐标，之后利用每个位置框的置信度进行非极大值抑制操作，设置阈值为0.7，将置信度低于0.7的位置框排除掉，当两个位置框非常接近，他们的区域交集大于0.5时选择置信度较高的留下，较低的删除掉，然后将筛选后的位置框坐标和类别作为最后的检测输出。之后在第二阶段针对相似度较高的鱼群进行细分类，根据鱼的种类分为有鳍品种和无鳍品种，在第二阶段的网络将第一阶段检测出的每条鱼的特征图作为输入，中间向量为三变量，分别为鳍的纹理向量、鳍的相对位置向量、鳍的数量向量，之后拟合向量输出鱼的具体种类作为输出，其中输出包括图片中鱼的位置坐标（包括位置框的x、y坐标和位置框的长和宽）、种类。而跟踪分支对输出上一帧检测出的鱼的质点的雅可比矩阵和距离向量、通过泰勒变换公式换算出每条鱼下一帧的位置，通过对该位置一定范围检测出的鱼类进行距离测量和相似度测量来得出当前两条鱼是否为同一条，如果是则赋予同一ID，此时同样通过设定阈值判断，先从范围内选出检测的鱼，先选相似度较高的，如果相似度相同则选距离较近的，如果被选中鱼的相似度大于阈值，则赋予同一ID。最后未匹配成功的赋予新的ID，联合检测分支和跟踪分支输出作为最后的输出

根据本发明的一个实施方式，泰勒公式计算方法为：

其中，

表示上一帧检测到的鱼的雅可比矩阵；

表示鱼的距离向量；

为上一帧鱼的位置特征；

为预测位置特征。

根据本发明的一个实施方式，将检测和多目标跟踪算法融合到一个框架中，从而实现多类别鱼群的跟踪统计，而采用端到端的统一神经网络架构，可以实现在线处理，在输入视频的同时输出统计结果。

不仅如此，为实现上述发明目的，本发明还提供一种基于神经网络的近岸海底鱼类检测及跟踪统计系统，图7示意性表示根据本发明的一种基于神经网络的近岸海底鱼类检测及跟踪统计系统的流程图。根据图7所示，该系统包括：

数据采集模块：获取鱼类图像，对鱼类图像进行预处理，将鱼类图像由原始尺寸切割到指定尺寸，汇总得到数据集，运用无监督图像分割算法对水下图像信息进行图像分割，生成标签列，通过FcycleGAN网络对水下图像信息与标签列进行对比获得清晰图像；

特征提取模块：搭建FDT神经网络结构，根据神经网络Darknet53，运用基于深度学习的并行双分支结构，提取鱼类特征图，对不同尺度的鱼类特征图进行融合；

种类判断模块：根据鱼的类型划分为无鳍品种和有鳍品种，检测过程为两阶段检测，第一阶段对鱼类特征图进行建模并进行非线性变化处理，若为无鳍品种，则输出清晰图像中鱼的位置和种类，若为有鳍品种，则进入第二阶段进行图像矫正，输入鱼类特征图，拟合有鳍品种鳍的纹理向量、鳍的相对位置向量和鳍的数量向量，输出有鳍品种具体种类；

鱼类追踪模块：跟踪过程将检测过程中上一帧检测出的带有鱼的框的中心点作为每条鱼的质点，通过神经网络Darknet53得到每个质点的雅可比矩阵和距离向量，运用泰勒公式计算下一帧游动的位置点，通过对位置点附近的检测框应用欧式距离公式，得到检测框得分数值，对得分数值进行排列，筛选并获得得分数值小于预设阈值的鱼的ID；

集成显示模块：将近岸海底鱼类检测及跟踪结果汇总并显示，将检测过程和跟踪过程得到的信息进行综合处理得出最终输出结果，并对最终输出结果进行在线检测跟踪。

根据本发明的一个实施方式，通过数据采集模块以鱼类图像最长边作为参考边计算缩放因子，通过双线性插值将鱼类图像缩放至608×342，对鱼类图像的上下边进行零填充，得到裁剪后指定尺寸为608×608的鱼类图像。

根据本发明的一个实施方式，将数据集放入8层神经网络中迭代20次，每次迭代从鱼类特征中选取较大者作为聚类标签，进行聚类后，统计每个聚类中出现次数最多的聚类标签，将聚类标签中所有像素记录为类别，得到类别低于设定数值的图像分割图。

根据本发明的一个实施方式， 8层神经网络包括5层卷积层、2层最大池化层、1层全连接层和8通道作为类别通道，从类别通道中选取最大值作为聚类标签。

根据本发明的一个实施方式，对于FcycleGAN网络的使用分为训练和推理两部分，在训练阶段时使用FcycleGAN的生成网络和判别网络，而在推理时只使用FcycleGAN的生成网络。FcycleGAN是有两个生成网络，在训练阶段是使用夜间模糊图像和分割图作为生成网络1的输入，之后将生成图和分割图作为生成网络2的输入，然后判断原图和生成网络2的生成图的相似度，这是第一次迭代，第二次迭代是使用白天清晰图像和分割图作为生成网络1的输入，之后将生成图和分割图作为生成网络2的输入，然后判断原图和生成网络2的生成图的相似度，这两次迭代作为一组，形成一种镜像映射操作。训练阶段以生成图可以骗过判别网络的识别为停止，知道判别网络分不出生成图是白天还是黑夜。而在推理阶段，只是将分割图和原图作为生成网络的输入即可，就能输出清晰图片，明显提高了图片的对比度。

根据本发明的一个实施方式，FDT神经网络推理过程为：通过特征提取模块，将图片输入到FDT神经网络结构中，提取出视频中的特征，将三种尺度的特征图进行通道拼接，将拼接后的特征图输入到检测分支和跟踪分支，在两分支中通过对特征建模，进行线形变化，通过种类判断模块，将检测分支分两阶段检测，第一阶段为粗检测，第二阶段为细检测，第一阶段利用Darknet53提取出鱼的整体纹理信息（颜色信息，尺寸比例大小）、鱼鳞形状信息等，并通过预测Anchor中心点的偏移量来定位其位置坐标，之后利用每个位置框的置信度进行非极大值抑制操作，设置阈值为0.7，将置信度低于0.7的位置框排除掉，当两个位置框非常接近，他们的区域交集大于0.5时选择置信度较高的留下，较低的删除掉，然后将筛选后的位置框坐标和类别作为最后的检测输出。之后在第二阶段针对相似度较高的鱼群进行细分类，根据鱼的种类分为有鳍品种和无鳍品种，在第二阶段的网络将第一阶段检测出的每条鱼的特征图作为输入，中间向量为三变量，分别为鳍的纹理向量、鳍的相对位置向量、鳍的数量向量，之后拟合向量输出鱼的具体种类作为输出，其中输出包括图片中鱼的位置坐标（包括位置框的x、y坐标和位置框的长和宽）、种类。运用鱼类追踪模块，对输出上一帧检测出的鱼的质点的雅可比矩阵和距离向量、通过泰勒变换公式换算出每条鱼下一帧的位置，通过对该位置一定范围检测出的鱼类进行距离测量和相似度测量来得出当前两条鱼是否为同一条，如果是则赋予同一ID，此时同样通过设定阈值判断，先从范围内选出检测的鱼，先选相似度较高的，如果相似度相同则选距离较近的，如果被选中鱼的相似度大于阈值，则赋予同一ID。最后未匹配成功的赋予新的ID，联合检测分支和跟踪分支输出作为最后的输出

根据本发明的一个实施方式，泰勒公式计算方法为：

其中，

表示上一帧检测到的鱼的所述雅可比矩阵；

表示鱼的所述距离向量；

为上一帧鱼的位置特征；

为预测位置特征。

根据本发明的一个实施方式，根据集成显示模块，将检测和多目标跟踪算法融合到一个框架中，从而实现多类别鱼群的跟踪统计，而采用端到端的统一神经网络架构，可以实现在线处理，在输入视频的同时输出统计结果。

为实现上述发明目的，本发明还提供一种电子设备，该电子设备包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述基于神经网络的近岸海底鱼类检测及跟踪统计方法。

为实现上述发明目的，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述基于神经网络的近岸海底鱼类检测及跟踪统计方法。

只使用一个跟踪分支无法同时跟踪多个类对象，然而，我们可以通过检测分支的附加类输出来识别被跟踪对象的类别，从而实现了多类同步跟踪，此外，检测分支的后验框输出比跟踪分支的后验框输出更准确，提高了跟踪精度和在线跟踪时间，最后，由于水下环境的复杂，比如当两条鱼重叠时，检测分支可以提取更详细的特征来跟踪正确的目标。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。

另外，在本发明实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例节能信号发送/接收的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

应理解，本发明的发明内容及实施例中各步骤的序号的大小并不绝对意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

Claims (10)

1.一种基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，包括：

步骤1：获取鱼类水下实时视频，将所述水下实时视频分解为包括海底鱼类的鱼类图像，对所述鱼类图像进行预处理，将所述鱼类图像由原始尺寸切割到指定尺寸，汇总得到数据集，运用无监督图像分割算法对水下图像信息进行图像分割，生成标签列，通过FcycleGAN神经网络对所述水下图像信息与所述标签列进行训练，获得清晰图像，所述标签列是作为类别的辅助信息帮助训练；

步骤2：搭建FDT神经网络结构，根据神经网络Darknet53，运用基于深度学习的并行双分支结构，提取鱼类特征图，对不同尺度的所述鱼类特征图应用金字塔方式进行融合，得到最终特征图；

步骤3：根据鱼的类型划分为无鳍品种和有鳍品种，检测过程分为两阶段检测，第一阶段对所述鱼类特征图进行建模并进行非线性变化处理，若为无鳍品种，则输出所述清晰图像中鱼的位置和种类，所得结果用于直接用于最后处理，若为有鳍品种，则进入第二阶段进行图像矫正，输入所述鱼类特征图，拟合所述有鳍品种鳍的纹理向量、鳍的相对位置向量和鳍的数量向量，分析汇总后输出所述有鳍品种具体种类；

步骤4：跟踪过程将所述检测过程中上一帧检测出的带有鱼的框的中心点作为每条鱼的质点，通过所述神经网络Darknet53得到每个所述质点的雅可比矩阵和距离向量，将所述雅可比矩阵和所述距离向量代入泰勒公式，得到计算下一帧游动的位置点，通过对所述位置点附近的检测框应用欧式距离公式，判断所述位置点与所述检测框位置关系，得到所述检测框得分数值，对所述得分数值进行排列，筛选并获得所述得分数值小于预设阈值的鱼的ID；

步骤5：将近岸海底鱼类检测及跟踪结果汇总并显示，将所述检测过程和所述跟踪过程得到的信息进行综合处理得出最终输出结果，并对所述最终输出结果进行在线检测跟踪。

2.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤3中所述第一阶段进一步包括：

所述第一阶段主要依据鱼的整体纹理信息和鱼鳞形状信息等总体信息来区分不同种类的鱼类，并定位其位置坐标。

3.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤4中所述雅可比矩阵和所述距离向量包括：

所述雅可比矩阵为2*2的矩阵形式，预测下一帧鱼游动的方向，所述距离向量是2*1向量，预测下一帧鱼向x、y方向游动的距离。

4.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤1中所述预处理的方法为：

以所述鱼类图像最长边作为参考边计算缩放因子，通过双线性插值将所述鱼类图像缩放至608×342，对所述鱼类图像的上下边进行零填充，得到裁剪后指定尺寸为608×608的所述鱼类图像。

5.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，在步骤1中所述无监督图像分割算法为：

将所述数据集放入8层神经网络中迭代20次，每次迭代从鱼类特征中选取较大者作为聚类标签，进行聚类后，统计每个聚类中出现次数最多的所述聚类标签，将所述聚类标签中所有像素记录为类别，得到所述类别低于设定数值的图像分割图。

6.根据权利要求5所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，所述8层神经网络进一步包括：

所述8层神经网络包括5层卷积层、2层最大池化层、1层全连接层和8通道作为类别通道，从所述类别通道中选取最大值作为所述聚类标签。

7.根据权利要求1所述基于神经网络的近岸海底鱼类检测及跟踪统计方法，其特征在于，所述将所述雅可比矩阵和所述距离向量代入泰勒公式为：

其中，

表示上一帧检测到的鱼的所述雅可比矩阵；

表示鱼的所述距离向量；

为上一帧鱼的位置特征；

为预测位置特征。

8.一种基于神经网络的近岸海底鱼类检测及跟踪统计系统，其特征在于，包括：

数据采集模块：获取鱼类水下实时视频，将所述水下实时视频分解为包括海底鱼类的鱼类图像，对所述鱼类图像进行预处理，将所述鱼类图像由原始尺寸切割到指定尺寸，汇总得到数据集，运用无监督图像分割算法对水下图像信息进行图像分割，生成标签列，通过FcycleGAN神经网络对所述水下图像信息与所述标签列进行训练，获得清晰图像，所述标签列是作为类别的辅助信息帮助训练；

特征提取模块：搭建FDT神经网络结构，根据神经网络Darknet53，运用基于深度学习的并行双分支结构，提取鱼类特征图，对不同尺度的所述鱼类特征图应用金字塔方式进行融合，得到最终特征图；

种类判断模块：根据鱼的类型划分为无鳍品种和有鳍品种，检测过程分为两阶段检测，第一阶段对所述鱼类特征图进行建模并进行非线性变化处理，若为无鳍品种，则输出所述清晰图像中鱼的位置和种类，所得结果用于直接用于最后处理，若为有鳍品种，则进入第二阶段进行图像矫正，输入所述鱼类特征图，拟合所述有鳍品种鳍的纹理向量、鳍的相对位置向量和鳍的数量向量，分析汇总后输出所述有鳍品种具体种类；

鱼类追踪模块：跟踪过程将所述检测过程中上一帧检测出的带有鱼的框的中心点作为每条鱼的质点，通过所述神经网络Darknet53得到每个所述质点的雅可比矩阵和距离向量，将所述雅可比矩阵和所述距离向量代入泰勒公式，得到计算下一帧游动的位置点，通过对所述位置点附近的检测框应用欧式距离公式，判断所述位置点与所述检测框位置关系，得到所述检测框得分数值，对所述得分数值进行排列，筛选并获得所述得分数值小于预设阈值的鱼的ID；

集成显示模块：将近岸海底鱼类检测及跟踪结果汇总并显示，将所述检测过程和所述跟踪过程得到的信息进行综合处理得出最终输出结果，并对所述最终输出结果进行在线检测跟踪。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的一种基于神经网络的近岸海底鱼类检测及跟踪统计方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的一种基于神经网络的近岸海底鱼类检测及跟踪统计方法。

Images