CN115775369A - 基于双流残差卷积神经网络的鱼类摄食强度评估方法 - Google Patents

Abstract

本发明基于双流残差卷积神经网络的鱼类摄食强度评估方法，对采集的视频进行处理，获得鱼类摄食的空间位置图及其对应的光流图，将鱼类摄食强度分类为若干等级，搭建双流残差卷积神经网络模型，包括空间流和时间流ResNet50网络，将鱼类摄食的空间位置图及其对应的光流图分别输入空间流和时间流ResNet50网络，用于分别提取鱼类摄食行为的空间和时间特征，将该空间流和时间流ResNet50网络输出的特征在特征层进行融合，最后通过平均池化层和全连接层进行类别预测。本发明提取了鱼类摄食行为的时空信息间的关联特征，从而提高了对鱼类摄食强度的评估准确率。

Description

基于双流残差卷积神经网络的鱼类摄食强度评估方法

技术领域

本发明涉及水产养殖和深度学习领域，尤其涉及一种基于双流残差卷积神经网络的鱼类摄食强度评估方法。

背景技术

目前，我国鱼类养殖过程中饵料的投喂方式主要有两种，一种是人工投喂方式，主要依靠养殖人员自身的养殖经验来控制投喂量，对养殖人员的养殖经验有很高的要求，如果是大规模的养殖基地就会耗费大量的人力成本，大大降低了养殖效益；另外一种是机械投喂方式，它的缺点是忽略了鱼类摄食状态的变化情况，不能根据鱼类的食欲自动调整投喂量，容易导致投喂不当的情况出现，从而影响养殖鱼类的健康生长，降低养殖效益。因此在鱼类养殖过程中，准确掌握鱼类的实际摄食状况有助于科学地投喂饲料，对实现鱼类精准高效绿色养殖有重要意义。

机器视觉技术作为一种非入侵式、经济且高效的方法，已经成为检测和评估鱼群摄食状况的重要研究手段，这种方法能够在不影响养殖鱼类正常生长发育的前提下，用较快的速度实现对养殖鱼类摄食状况的检测。但是这类方法提取的特征是人为选择的特征，无法提取出图像中高维的语义信息，容易出现检测精度低、鲁棒性差等情况，不能很好的应用于实际的养殖环境中。

近年来，深度学习技术在检测和识别鱼类的摄食状况方面也得到了应用。深度学习模型的网络结构更深，并且它所提取的特征是神经网络经过大量的学习得到，能够挖掘出隐藏在图像中的高层语义信息，所以不易受到养殖鱼类的大小、种类以及养殖环境中光照不均匀等因素的影响，相较于传统的机器视觉方法有更强的鲁棒性。有必要将深度学习模块应用于鱼类摄食强度的评估中。

发明内容

本发明的目的是提出一种基于双流残差卷积神经网络的鱼类摄食强度评估方法，能提取到鱼类摄食行为的时空信息间的关联特征，从而提取到的鱼类摄食行为特征更为充分，能提高摄食强度评估的准确率。

本发明基于双流残差卷积神经网络的鱼类摄食强度评估方法，包括如下步骤：

步骤1、使用视频采集装置采集鱼类摄食视频；

步骤2、对采集的视频进行处理，获得鱼类摄食的空间位置图及其对应的光流图，将鱼类摄食强度分类为若干等级，将所采集的图像按照所述鱼类摄食强度分类构建鱼类摄食强度数据集，其中每个等级的摄食强度数据包含空间位置图及其对应的光流图，并将该数据集划分为训练集和测试集；

步骤3、搭建双流残差卷积神经网络模型，包括空间流和时间流ResNet50网络，每个ResNet50网络包含49层卷积层，该空间流和时间流ResNet50网络在两特征层进行融合后，连接至一个平均池化层，该平均池化层输出至用于鱼类摄食强度分类的全连接层，该全连接层包含的神经元数量与所需分类的类别数一致；

步骤4、利用训练集训练步骤3所搭建的双流残差卷积神经网络模型，然后利用测试集测试训练好的模型，在验证双流残差卷积神经网络有效后，得到用于对鱼类摄食强度进行分类和评估双流残差卷积神经网络模型；

步骤5、将鱼类摄食的空间位置图及其对应的光流图分别输入空间流和时间流ResNet50网络，用于分别提取鱼类摄食行为的空间和时间特征，将该空间流和时间流ResNet50网络输出的特征在特征层进行融合，最后通过平均池化层和全连接层进行类别预测。

使用Farneback稠密光流算法对采集的视频进行处理，获得鱼类摄食的空间位置图及其对应的光流图，利用一个扩展多项式近似表示每个像素点的邻域值：

f(x)＝x^TAx+b^Tx+c

式中：A为对称矩阵，b为向量，c为标量；

将前一帧鱼类摄食图像表示为：

那么下一帧鱼类摄食图像在全局位移量d后变为：

f₂(x)＝f₁(x-d)＝(x-d)^TA₁(x-d)+b₁ ^T(x-d)+c₁

＝x^TA₁x+(b₁-2A₁d)^Tx+d^TA₁d-b₁ ^Td+c₁

＝x^TA₂x+b₂ ^Tx+c₂

利用相邻帧间亮度值恒定不变原理，使得f₁(x)和f₂(x)对应项系数相等，得到以下等式：

A₂＝A₁,

b₂＝b₁-2A₁d,

c₂＝d^TA₁d-b₁ ^Td+c₁

若式中A₁为非奇异矩阵，则解出全局位移量d：

在计算得到稠密光流场之后，通过使用孟赛尔颜色系统对其进行上色，将该稠密光流场可视化为光流图像，从而得到该鱼类摄食的空间位置图及其对应的光流图。

所述鱼类摄食强度分类为强、较强、正常、较弱和弱5个等级。

所述的ResNet50网络的卷积层包括5个卷积模块，其中第一卷积模块包含一个7×7的卷积层，在其之后连接一个最大池化层；而后四个卷积模块由多个残差结构堆叠而成，每个残差结构由三层卷积层组成，卷积核大小分别为1×1、3×3以及1×1，第二卷积模块至第五卷积模块包含的残差结构数量分别3个、4个、6个以及3个，第二卷积模块至第五卷积模块输出的特征图维度分别为256维、512维、1024维以及2048维；在第五卷积模块后连接平均池化层。

在空间流和时间流ResNet50网络的最后一个卷积模块之后在特征层进行融合，将两个通道数为2048的特征层在相同的空间位置上进行拼接，融合得到的通道数为4096特征层。

所述双流残差卷积神经网络采用如下所示的损失函数：

式中：m表示样本数量，n表示分类类别数，y_ic表示第i个样本的真实概率，p_ic表示第i个样本的预测概率。

一种计算机设备，包括处理器和存储器，存储器中存储有计算机程序，其特征在于：该计算机程序被处理器执行时以实现上述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行时实现上述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法。

本发明的有益效果为：

(1)本发明对鱼类摄食强度等级划分更为详细，分为了强、较强、正常、较弱和弱这5个等级，适用于大面积的工厂化养殖池和土池养殖池中鱼类的摄食强度评估。

(2)本发明针对传统Two-stream中存在的问题做出了相应的改进，使用ResNet50网络替换了网络结构较浅的VGG16网络，以提取到充分的鱼类摄食行为特征，提升了网络对鱼类摄食强度的评估准确率；并通过特征层融合方式对空间流和时间流网络提取获得的特征进行融合，让网络能够并行进行训练，以提取到鱼类摄食行为的时空信息间的关联特征，从而提高了对鱼类摄食强度的评估准确率。本发明所采用的双流残差卷积神经网络利用的鱼类摄食行为特征更丰富，包括鱼类摄食行为的空间位置特征、运动趋势、速度等特征，能够进行更准确的评估，且双流残差卷积神经网络的分类算法为ResNet50，网络结构有50层，远高于LeNet-5的7层网络结构，能提取到更充分的鱼类摄食行为特征，提高摄食强度评估准确率。

附图说明

图1为本发明中双流残差卷积神经网络结构示意图；

图2为本发明中双流残差卷积神经网络训练损失变化示意图；

图3为本发明中双流残差卷积神经网络在测试集上准确率变化示意图；

图4为本发明中鱼类的摄食强度区分规则表；

图5为本发明双流残差卷积神经网络与Two-stream、双流网络的评估准确率比较表；

图6为七天的鱼类摄食强度评估应用试验中本发明双流残差卷积神经网络评估结果和养殖技术人员评估结果对比表。

以下结合附图和具体实施例对本发明做进一步详述。

具体实施方式

在实施例一中，本发明提供一种基于双流残差卷积神经网络的鱼类摄食强度评估方法，具体步骤包括：

步骤1、使用近红外工业相机、海康威视监控相机等视频采集装置采集多批鱼类摄食视频；

步骤2、使用Farneback稠密光流算法对采集的视频进行处理，获得鱼类摄食的空间位置图及其对应的光流图，将鱼类摄食强度分为强、较强、正常、较弱和弱5个等级，如图4所示，将所采集的图像按照所述鱼类摄食强度分类构建鱼类摄食强度数据集，其中每个等级的摄食强度数据包含空间位置图及其对应的光流图，并将该数据集划分为训练集和测试集；

所述Farneback稠密光流算法，不要求视频中场景空间一定是静止的，可适用于提取物体大尺度运动产生的光流信息，通过估计连续两帧图像间的全局位移量解决了图像中存在灰度值快速变化的问题，利用一个扩展多项式近似表示每个像素点的邻域值：

f(x)＝x^TAx+b^Tx+c

式中：A为对称矩阵，b为向量，c为标量；

将前一帧鱼类摄食图像表示为：

f₁(x)＝x^TA₁x+b₁ ^Tx+c₁

那么下一帧鱼类摄食图像在全局位移量d后变为：

利用相邻帧间亮度值恒定不变原理，使得f₁(x)和f₂(x)对应项系数相等，得到以下等式：

A₂＝A₁,

b₂＝b₁-2A₁d,

c₂＝d^TA₁d-b₁ ^Td+c₁

若式中A₁为非奇异矩阵，则可解出全局位移量d：

在计算得到稠密光流场之后，通过使用孟赛尔颜色系统对其进行上色，将该稠密光流场可视化为光流图像，从而得到该鱼类摄食的空间位置图及其对应的光流图；

步骤3、搭建双流残差卷积神经网络模型，如图1所示，包括空间流和时间流ResNet50网络，每个ResNet50网络包含49层卷积层，该空间流和时间流ResNet50网络在两特征层进行融合后，连接至一个平均池化层，用于加强特征映射和分类类别的一致性，平均池化层输出至用于鱼类摄食强度分类的全连接层，该全连接层包含的神经元数量与所需分类的类别数一致，在本发明中为5个；

所述的ResNet50网络的卷积层包括5个卷积模块，其中第一卷积模块包含一个7×7的卷积层，在其之后连接一个最大池化层；而后四个卷积模块由多个残差结构堆叠而成，每个残差结构由三层卷积层组成，卷积核大小分别为1×1、3×3以及1×1，第二卷积模块至第五卷积模块包含的残差结构数量分别3个、4个、6个以及3个，第二卷积模块至第五卷积模块输出的特征图维度分别为256维、512维、1024维以及2048维；在第五卷积模块后连接平均池化层，能够加强特征映射和分类类别的一致性；

上述双流残差卷积神经网络模型与传统的Two-stream网络相比，该网络改进了两部分，第一是使用ResNet50网络替代了网络结构较浅的VGG16网络，以提取充分的鱼类摄食行为特征，第二是使用特征层融合方式对空间流和时间流ResNet50网络所提取的时空特征进行融合，让该空间流和时间流ResNet50网络能够并行进行训练，以提取到鱼类摄食行为时空信息间的关联特征；

本发明的双流残差卷积神经网络，在空间流和时间流ResNet50网络的最后一个卷积模块之后设置特征层融合，所述特征层融合是将两个通道数为2048的特征层在相同的空间位置上进行拼接，融合得到的通道数为4096特征层；

步骤4、利用训练集训练步骤3所搭建的双流残差卷积神经网络模型，并保存训练好的模型，然后利用测试集测试所述训练好的模型，在验证双流残差卷积神经网络有效后，得到用于对鱼类摄食强度进行分类和评估双流残差卷积神经网络模型；

步骤5、将鱼类摄食的空间位置图及其对应的光流图分别输入空间流和时间流ResNet50网络，用于分别提取鱼类摄食行为的空间和时间特征，将该空间流和时间流ResNet50网络输出的特征在特征层进行融合，最后通过平均池化层和全连接层进行类别预测。

所述双流残差卷积神经网络采用如下所示的损失函数：

式中：m表示样本数量，n表示分类类别数，y_ic表示第i个样本的真实概率，p_ic表示第i个样本的预测概率。

该双流残差卷积神经网络在训练过程中，每迭代完一个epoch就记录一下网络损失函数值，其变化趋势如图2所示。从图中可以看出，训练过程中网络损失在大概第18个epoch之前下降很快，而在第50个epoch之后逐渐趋于稳定，证明网络模型已经达到收敛。

双流残差卷积神经网络每训练完一个epoch就通过测试集进行评估，并记录下此时网络的准确率。网络在训练阶段的准确率变化如图3所示，从图中可知，训练时网络的准确率上升很快，在第10个epoch准确率就达到95％以上，随着训练的进行准确率缓慢上升，在第20个epoch之后逐渐平稳，最后网络的准确率达到98.6％。

测试训练好的模型是为了验证双流残差卷积神经网络的有效性，在同一训练集上进行训练，同时在其测试集上比较网络的评估准确率，试验时的试验环境和所设置的参数均保持一致。双流残差卷积神经网络、Two-stream以及双流网络的评估准确率比较表如图5所示，其中，Two-stream网络的评估准确率为95.4％，在将Two-stream的分类算法VGG-16替换为ResNet50之后得到双流网络，其评估准确率为96.2％，相较于Two-stream网络准确率有些许提升，提升了0.8％，说明网络结构较深的ResNet50能比VGG-16提取到更有效的特征。而本发明的双流残差卷积神经网络准确率为98.6％，比Two-stream网络和双流网络分别提升了3.2％和2.4％，说明在特征层融合中能使网络充分学习到鱼类摄食行为的时空关联特征，从而使得本发明的双流残差卷积神经网络对鱼类摄食强度有较高的评估准确率。

为了进一步验证本发明的双流残差卷积神经网络在鱼类摄食强度评估上的有效性，在一口鱼类土池养殖池中进行了为期七天的应用试验，网络评估结果和养殖技术人员评估结果对比如图6所示，养殖技术人员的评估结果和本发明双流残差卷积神经网络的评估结果一致。

在实施例二中，本发明提供了一种计算机设备，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力，该存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现实施例一的基于双流残差卷积神经网络的鱼类摄食强度评估方法。实施例一和二具备相同的功能和有益效果。

在实施例三中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例一的基于双流残差卷积神经网络的鱼类摄食强度评估方法。实施例一和三具备相同的功能和有益效果。

本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述方法的实施例的流程。其中，所述非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于包括如下步骤：

步骤1、使用视频采集装置采集鱼类摄食视频；

步骤2、对采集的视频进行处理，获得鱼类摄食的空间位置图及其对应的光流图，将鱼类摄食强度分类为若干等级，将所采集的图像按照所述鱼类摄食强度分类构建鱼类摄食强度数据集，其中每个等级的摄食强度数据包含空间位置图及其对应的光流图，并将该数据集划分为训练集和测试集；

步骤3、搭建双流残差卷积神经网络模型，包括空间流和时间流ResNet50网络，每个ResNet50网络包含49层卷积层，该空间流和时间流ResNet50网络在两特征层进行融合后，连接至一个平均池化层，该平均池化层输出至用于鱼类摄食强度分类的全连接层，该全连接层包含的神经元数量与所需分类的类别数一致；

步骤4、利用训练集训练步骤3所搭建的双流残差卷积神经网络模型，然后利用测试集测试训练好的模型，在验证双流残差卷积神经网络有效后，得到用于对鱼类摄食强度进行分类和评估双流残差卷积神经网络模型；

步骤5、将鱼类摄食的空间位置图及其对应的光流图分别输入空间流和时间流ResNet50网络，用于分别提取鱼类摄食行为的空间和时间特征，将该空间流和时间流ResNet50网络输出的特征在特征层进行融合，最后通过平均池化层和全连接层进行类别预测。

2.根据权利要求1所述的基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于：使用Farneback稠密光流算法对采集的视频进行处理，获得鱼类摄食的空间位置图及其对应的光流图，利用一个扩展多项式近似表示每个像素点的邻域值：

f(x)＝x^TAx+b^Tx+c

式中：A为对称矩阵，b为向量，c为标量；

将前一帧鱼类摄食图像表示为：

f₁(x)＝x^TA₁x+b₁ ^Tx+c₁

那么下一帧鱼类摄食图像在全局位移量d后变为：

f₂(x)＝f₁(x-d)＝(x-d)^TA₁(x-d)+b₁ ^T(x-d)+c₁

＝x^TA₁x+(b₁-2A₁d)^Tx+d^TA₁d-b₁ ^Td+c₁

＝x^TA₂x+b₂ ^Tx+c₂

利用相邻帧间亮度值恒定不变原理，使得f₁(x)和f₂(x)对应项系数相等，得到以下等式：

A₂＝A₁,

b₂＝b₁-2A₁d,

c₂＝d^TA₁d-b₁ ^Td+c₁

若式中A₁为非奇异矩阵，则解出全局位移量d：

在计算得到稠密光流场之后，通过使用孟赛尔颜色系统对其进行上色，将该稠密光流场可视化为光流图像，从而得到该鱼类摄食的空间位置图及其对应的光流图。

3.根据权利要求1所述的基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于：所述鱼类摄食强度分类为强、较强、正常、较弱和弱5个等级。

4.根据权利要求1所述的基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于：所述的ResNet50网络的卷积层包括5个卷积模块，其中第一卷积模块包含一个7×7的卷积层，在其之后连接一个最大池化层；而后四个卷积模块由多个残差结构堆叠而成，每个残差结构由三层卷积层组成，卷积核大小分别为1×1、3×3以及1×1，第二卷积模块至第五卷积模块包含的残差结构数量分别3个、4个、6个以及3个，第二卷积模块至第五卷积模块输出的特征图维度分别为256维、512维、1024维以及2048维；在第五卷积模块后连接平均池化层。

5.根据权利要求1或4所述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于：在空间流和时间流ResNet50网络的最后一个卷积模块之后在特征层进行融合，将两个通道数为2048的特征层在相同的空间位置上进行拼接，融合得到的通道数为4096特征层。

6.根据权利要求1或4所述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法，其特征在于：所述双流残差卷积神经网络采用如下所示的损失函数：

式中：m表示样本数量，n表示分类类别数，yic表示第i个样本的真实概率，pic表示第i个样本的预测概率。

7.一种计算机设备，包括处理器和存储器，存储器中存储有计算机程序，其特征在于：该计算机程序被处理器执行时以实现权利要求1-6所述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行时实现权利要求1-6所述的任意一种基于双流残差卷积神经网络的鱼类摄食强度评估方法。

Images