CN112883861A - 一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法 - Google Patents

Abstract

本发明涉及一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，包括以下步骤：模型训练阶段：根据鱼群巡游视频构建鱼群摄食状态数据集，并进行预处理后进行数据样本转换得到帧间运动特征数据集，构建帧间特征分类网络，完成视频分类训练；实际应用阶段：采用训练好的帧间特征分类网络，以待分类的鱼群巡游视频的帧间运动特征为输入，根据输入的分类结果按照制定的阶梯式投饵策略完成投饵。与现有技术相比，本发明面向工厂化养殖的循环养殖池环境，适用对象为具有抢食性摄食行为的鱼类，本发明能够根据鱼群摄食状态动态的调整饵料投放时间以及投放量，具有节约饵料、提高经济效益等优点。

Description

一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法

技术领域

本发明涉及水产养殖和计算机视觉检测领域，尤其是涉及一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法。

背景技术

饵料的自适应投放控制是工厂化水产养殖中保证可持续经营、提升经济效益的关键。饵料投放过多，会造成大量剩余饵料悬浮水面的情况，一方面造成饵料浪费，另一方面大量的剩余饵料易引发水体富营养化，污染水质；饵料投放过少，影响鱼群的正常生长，同样可能导致鱼群患病，影响最终的经济效益。目前的投饵控制技术基本采用定时定量的投饵控制方法，该方法的投饵量仍依赖于养殖人员的经验，无法根据鱼群的摄食状态实现饵料投放的自适应控制，模式单一、机械，因此，根据鱼群的摄食状态实现饵料的自适应投放控制对于提升水产养殖的经济效益、实现可持续经营具有重要意义。

解决饵料自适应投放技术的关键在于分析鱼群的摄食状态，目前已有许多学者对此展开研究，例如Zhou等人通过红外成像技术，提出了鱼群摄食聚集系数FIFFB和鱼群摄食抢夺系数SIFFB，采用德劳内三角分割的方法计算鱼体周长作为鱼群摄食强度的量化指标(Zhou C,Zhang B,Lin K,et al.Near-infrared imaging to quantify the feedingbehavior of fish in aquaculture[J].Computers and Electronics in Agriculture,2017,135(1):233-241)；Zhao等人利用光流法计算鱼群游动行为的变化，提出了一个动能模型来衡量鱼群摄食的聚集和离散程度(Zhao J,Gu Z,Shi M,et al.Spatial behavioralcharacteristics and statistics-based kinetic energy modeling in specialbehaviors detection of a shoal of fish in a recirculating aquaculture system[J].Computers&Electronics in Agriculture,2016,127(2):271-280)。Zhou等人提出了基于单帧图像分类的方法针对鱼群摄食视频的每一帧图像进行强度分类，以解决鱼群整个摄食行为的分类问题(Zhou C,Xu D,Chen L,et al.Evaluation of fish feedingintensity in aquaculture using a convolutional neural network and machinevision[J].Aquaculture,2019,507(1):457-465)。

然而上述方法都是基于理想的实验室环境展开，模型效果对外界环境有较大依赖，往往需要光照均匀、成像清晰的视频数据，这在实际生产环境中很难满足，因此这些研究仍处于理论阶段而无法真正应用于实际生产环境，要实现饵料投放的自适应控制，需要能够真正适用生产环境的鱼群摄食状态分类模型，通过摄食状态分类为后续投饵提供策略依据。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法。

本发明的目的可以通过以下技术方案来实现：

一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，包括以下步骤：

模型训练阶段：

根据鱼群巡游视频构建鱼群摄食状态数据集，并进行预处理后进行数据样本转换得到帧间运动特征数据集，构建帧间特征分类网络，完成视频分类训练；

实际应用阶段：

采用训练好的帧间特征分类网络，以待分类的鱼群巡游视频的帧间运动特征为输入，根据输入的分类结果按照制定的阶梯式投饵策略完成投饵。

所述的模型训练阶段具体包括以下步骤：

1)构建鱼群摄食状态数据集：面向循环养殖池环境采集基于水下视角的鱼群巡游视频，剔除噪声视频后根据鱼群摄食状态标注规则对视频进行鱼群摄食状态标注；

2)视频预处理：针对视频偏暗、对比度较弱的问题，采用直方图变换算法对视频帧进行预处理，增强视频帧的亮度和对比度；

3)数据样本转换：通过光流法对鱼群摄食状态数据集中的每一个视频样本依次计算其内部所有相邻帧的光流位移场，并统计幅值和相角的分布直方图，作为相邻帧的帧间运动特征，将视频数据集转化为帧间运动特征数据集；

4)搭建帧间特征分类网络，根据帧间运动特征数据集训练帧间特征分类网络，在每段视频内部完成帧间运动特征的分类；

5)采用基于阈值的多数投票策略，将视频内部的帧间特征分类结果映射为视频最终的类别，完成视频分类；

所述的步骤1)中，噪声视频具体为循环养殖池中发生增氧曝气的人工行为时拍摄到的视频。

所述的步骤1)中，鱼群摄食状态标注规则具体为：

第一类：未摄食，鱼群对周围饵料无反应，不主动进食；

第二类：弱摄食，鱼群开始主动进食，但仅对周围饵料有进食反应，游动范围较小；

第三类：强摄食，鱼群开始主动抢食，大范围游动抢夺饵料。

所述的步骤2)中，采用直方图线性变换算法拉宽像素值的分布空间，削弱原本集中在设定范围内的像素值尖峰，增强视频帧对比度，提高亮度，直方图线性变换公式的表达式为：

R′＝R*γ_R

G′＝G*γ_G

B′＝B*γ_B

其中，γ_R、γ_B、γ_G为RGB通道各自对应的线性变换系数，R、G、B为视频帧某一像素点RGB通道的原始像素值，R′、G′、B′为直方图线性变换后该点对应的RGB通道的像素值。

所述的步骤3)具体包括以下步骤：

31)通过稠密光流法计算视频样本内所有相邻帧的光流位移场；

32)将光流位移场转换为幅值强度场和相角强度场，转换的计算式具体为：

其中，mag(u，v)为位置为(u，v)的像素点p的移动幅值，ang(u，v)为位置为(u，v)的像素点p的移动相角，p_x(u，v)为位置为(u，v)的像素点p沿水平方向x的偏导，Py(u，v)为位置为(u，v)的像素点p沿竖直方向y的偏导；

33)将相角按一定间隔划分为m个区间，幅值按最大最小值之间的差值划分为n个区间，统计每个区间的像素分布信息，得到m维幅值分布直方图和n维相角分布直方图，将幅值分布直方图和相角分布直方图拼接得到m+n维特征作为视频相邻帧的帧间运动特征，并且以此提取视频样本内所有相邻帧的帧间特征。

所述的步骤4)具体为：

搭建一个包含L层的帧间特征分类神经网络，该网络输入m+n维帧间运动特征，中间包含L-2层隐含层，每层节点分别为h1、h2、h3，输出层的3个节点分别代表输入帧间特征对应的类别，即未摄食、弱摄食和强摄食，输出层分类函数采用SoftMax函数，基于交叉熵损失函数训练帧间特征分类神经网络，具体计算式为：

其中，

为帧间特征分类神经网络分类之后类别i对应的预测概率，z_i为分类神经网络对类别i的原始预测输出，C表示类别总数，且C＝3，y_i为类别i对应的真实标签，L为交叉熵损失函数。

所述的步骤5)中，对于每个视频样本，采用基于阈值的多数投票策略进行视频分类，具体为：

首先选择所有帧间特征分类结果中预测频率最高的类别作为该视频的候选类别，然后采用阈值判断的方法，若该预测类别占比高于设定阈值，则对该段视频类别作出确定性分类；否则，将该段视频判为不确定类别，并拒绝分类；

对于确定性分类的视频样本，将其对应类别的预测频率作为该样本的分类结果置信度，其表达式如下：

其中，Predict Category Samples为预测为该类别的样本数量，All Samples为样本的总数量。

所述的实际应用阶段具体包括以下步骤：

6)实际应用：拍摄待测试的鱼群巡游视频，重复步骤2-3)将视频样本转化为帧间特征样本，采用步骤4)已训练好的帧间特征分类网络对该视频内所有帧间特征分类，并根据步骤5)对该测试视频进行分类；

7)投饵指导：制定的阶梯式投饵策略，根据待测试视频的摄食状态分类结果作为反馈信号，并根据阶梯式投饵策略指导后续饵料投放。

所述的步骤7)中，阶梯式投饵策略具体为：

投饵前期保持正常投饵量α进行投饵，若当前摄食状态分类结果为强摄食，则继续保持投饵量α投饵；若当前摄食状态分类结果为弱摄食，则将投饵量减小为0.5α投饵；若鱼群处于未摄食状态或长期处于弱摄食状态，则停止投饵，该轮投饵操作结束，具体表示为：

其中，V(state，t)为投饵量，state为鱼群当前摄食状态，t为该状态维持时间。

与现有技术相比，本发明具有以下优点：

一、适用于循环养殖池环境、具有抢食性摄食行为的鱼种：本发明针对循环养殖池中鱼群的巡游特性，提出了一种基于帧间运动特征的摄食状态分类方法，能够捕捉抢食性鱼种在不同摄食行为下的差异性特征，使方法能准确的对鱼群的不同摄食状态进行分类。

二、本发明针对鱼群摄食状态进行未摄食、弱摄食、强摄食的细粒度分类，后续根据鱼群当前摄食状态动态的调整饵料投放量，对鱼群摄食状态进行细粒度的强、弱划分有利于后续指导饵料投放时制定更加精细的投饵策略，尽可能的避免因多余投饵造成饵料浪费的情况。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明提供一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，面向工厂化养殖的循环养殖池环境，适用对象为具有抢食性摄食行为的鱼类(例如大西洋鲑鱼)，为实现循环养殖池环境下饵料的自动估量投放而设计，本发明将鱼群当前的摄食状态作为反馈信号，根据阶梯式投饵策略确定后续的饵料投放，强摄食状态下保持正常投饵，转换为弱摄食状态后将饵料投放量减少一半，转换为未摄食状态或长期处于弱摄食状态时停止饵料投放，避免在鱼群摄食欲望较低的情况下投放多余饵料，造成饵料浪费、污染水质的不良影响。

如图1所示，本发明包括以下步骤：

第一阶段：模型训练，包括步骤1-5)，具体表述如下：

步骤1，构建鱼群摄食状态数据集，具体的：

面向循环养殖池环境收集基于水下视角的鱼群巡游视频，剔除噪声视频，并根据鱼群摄食标注规则对视频进行标注。鱼群摄食标注规则如下：(1)未摄食，鱼群对周围饵料无反应，不主动进食；(2)弱摄食，鱼群开始主动进食，但仅对周围饵料有进食反应，游动范围较小；(3)强摄食，鱼群开始主动抢食，大范围游动抢夺饵料。标注工作由5名标注人员同时展开，采取一致性原则：需要至少4名标注人员对视频标注同一类别，否则该视频被判定为“不确定类别”作丢弃处理。原始长度的视频会按3s的间隔被切分为数据集最终样本；

步骤2，数据集样本预处理，具体为：

针对数据集样本图像偏暗、对比度较弱的特点，采用直方图线性变换法，拉宽视频帧像素值的分布空间，削弱原本集中在[50，100]范围内的像素值尖峰，增强视频帧对比度，提高亮度，直方图变换公式为：

R′＝R*γ_R

G′＝G*γ_G

B′＝B*γ_B

式中γ_R、γ_B、γ_G为RGB通道各自对应的线性变换系数，R、G、B为视频帧某一像素点RGB通道的原始像素值，R′、G′、B′为直方图线性变换后该点对应的RGB通道的像素值；

步骤3，数据样本转换，具体为：

采用光流法对数据集中的每一个视频样本依次计算其内部所有相邻帧的帧间运动特征，将视频数据集转换为帧间运动特征数据集，具体包含如下步骤：

步骤3.1，通过稠密光流法计算视频第t帧和第t+1帧的光流位移场Px(u，v)和Py(u，v)，其中，Px(u，v)表示位置为(u，v)的像素点p沿水平方向x的偏导，Py(u，v)表示位置为(u，v)的像素点p沿竖直方向y的偏导；

步骤3.2，将水平、竖直的光流位移场进一步转化为像素点移动的幅值、相角强度场，用于表示像素在相邻帧间的运动信息，转换公式如下：

式中mag(u，v)表示位置为(u，v)的像素点p的移动幅值，ang(u，v)表示位置为(u，v)的像素点p的移动相角；

步骤3.3，统计全局范围内幅值、相角的分布信息。针对相角强度场，将相角按45°间隔划分为8个区间，统计每个区间的像素分布信息，得到8维相角分布直方图；针对幅值强度场，将其按最大最小值之间的差值均分8个区间，统计每个区间的像素分布信息，得到8维幅值分布直方图，两者拼接得到16维特征作为视频相邻帧的帧间运动特征。

步骤3.4，在视频所有相邻帧重复步骤3.1-3.3，计算视频内部所有的帧间运动特征，本例中，对于步骤1的数据集，其单个视频样本长度为3秒(30fps)，共包含90帧，最终通过光流法可提取89个帧间运动特征；

步骤4，搭建帧间特征分类网络，基于步骤3转换的帧间运动特征数据集训练网络，在每段视频内部对帧间运动特征进行分类，具体包含如下步骤：

步骤4.1，搭建一个包含5层的帧间特征分类神经网络，该网络输入为步骤3)提取的16维帧间运动特征，中间包含3层隐含层，每层节点分别为64、128、64，输出层3个节点分别代表输入帧间特征对应的类别：未摄食、弱摄食、强摄食，输出层分类函数采用SoftMax函数，基于交叉熵损失函数训练模型，两者的具体计算式如下：

式中，

表示模型分类之后类别i对应的预测概率，z_i和z_j表示分类神经网络对类别i和j的原始预测输出，C表示类别总数，本例中取值为3，y_i表示类别i对应的真实标签，L为损失函数；

步骤5，采用基于阈值的多数投票策略，将视频内部的帧间特征分类结果映射为视频最终的类别，完成视频分类，具体包含如下步骤：

步骤5.1，对单个视频样本所有帧间运动特征的分类结果进行统计，选择预测频率最高的类别作为视频分类的候选类别；

步骤5.2，阈值判断，设确定性阈值为60％，若该预测类别的占比高于60％，则对该段视频类别作出确定性分类；否则，将该段视频判为“不确定类别”拒绝分类。对于确定性分类的视频样本，将其对应类别的预测频率作为该样本的分类结果置信度，其表达式如下：

式中，Predict Category Samples表示预测为该类别的样本数量，All Samples表示样本的总数量；

第二阶段：实际应用，包括步骤6-7)，具体表述如下：

步骤6，实际应用，拍摄鱼群巡游的测试视频，对鱼群摄食状态分类；

具体方法为：通过水下布置的摄像机拍摄鱼群巡游的视频，重复步骤2对视频图像进行预处理，增强视频帧亮度、对比度；重复步骤3通过光流法提取运动特征，将该测试视频样本转化为对应的帧间运动特征样本；基于步骤4已训练好的帧间特征分类网络，对提取的所有帧间运动特征样本分类；基于步骤5的投票策略设置合适的确定性阈值，将帧间特征样本的分类结果映射为视频样本最终的分类结果。

步骤7，投饵指导，制定阶梯式投饵策略，将步骤6对测试视频的摄食状态分类结果作为反馈信号，并根据阶梯式投饵策略指导后续饵料投放，具体包含如下步骤：

步骤7.1，投饵前期保持正常投饵量α进行投饵。若当前视频的摄食状态分类为强摄食，则继续执行步骤7.1；若当前视频的摄食状态分类为弱摄食，则跳转至步骤7.2；若当前视频的摄食状态分类为未摄食，则跳转至步骤7.3；

步骤7.2，将投饵量减小为0.5α进行投饵，并计时鱼群处于未摄食状态的持续时间。若持续时间小于阈值，则继续执行步骤7.2；若持续时间高于阈值，则跳转至步骤7.3；

步骤7.3，停止投饵，该阶段投饵操作执行完毕。

本发明中所描述的具体实施例仅仅是针对本发明的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法作举例说明，但本发明不局限于该实施例，其实际可适用于循环养殖池环境下的所有抢食性鱼类的投饵控制。技术人员可以针对具体应用环境对本发明描述的具体实施例作适当个性化修改。

Claims (10)

1.一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，包括以下步骤：

模型训练阶段：

根据鱼群巡游视频构建鱼群摄食状态数据集，并进行预处理后进行数据样本转换得到帧间运动特征数据集，构建帧间特征分类网络，完成视频分类训练；

实际应用阶段：

采用训练好的帧间特征分类网络，以待分类的鱼群巡游视频的帧间运动特征为输入，根据输入的分类结果按照制定的阶梯式投饵策略完成投饵。

2.根据权利要求1所述的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，所述的模型训练阶段具体包括以下步骤：

1)构建鱼群摄食状态数据集：面向循环养殖池环境采集基于水下视角的鱼群巡游视频，剔除噪声视频后根据鱼群摄食状态标注规则对视频进行鱼群摄食状态标注；

2)视频预处理：针对视频偏暗、对比度较弱的问题，采用直方图变换算法对视频帧进行预处理，增强视频帧的亮度和对比度；

3)数据样本转换：通过光流法对鱼群摄食状态数据集中的每一个视频样本依次计算其内部所有相邻帧的光流位移场，并统计幅值和相角的分布直方图，作为相邻帧的帧间运动特征，将视频数据集转化为帧间运动特征数据集；

4)搭建帧间特征分类网络，根据帧间运动特征数据集训练帧间特征分类网络，在每段视频内部完成帧间运动特征的分类；

5)采用基于阈值的多数投票策略，将视频内部的帧间特征分类结果映射为视频最终的类别，完成视频分类。

3.根据权利要求2所述的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，所述的步骤1)中，噪声视频具体为循环养殖池中发生增氧曝气的人工行为时拍摄到的视频。

4.根据权利要求2所述的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，所述的步骤1)中，鱼群摄食状态标注规则具体为：

第一类：未摄食，鱼群对周围饵料无反应，不主动进食；

第二类：弱摄食，鱼群开始主动进食，但仅对周围饵料有进食反应，游动范围较小；

第三类：强摄食，鱼群开始主动抢食，大范围游动抢夺饵料。

5.根据权利要求2所述的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，所述的步骤2)中，采用直方图线性变换算法拉宽像素值的分布空间，削弱原本集中在设定范围内的像素值尖峰，增强视频帧对比度，提高亮度，直方图线性变换公式的表达式为：

R′＝R*γ_R

G′＝G*γ_G

B′＝B*γ_B

其中，γ_R、γ_B、γ_G为RGB通道各自对应的线性变换系数，R、G、B为视频帧某一像素点RGB通道的原始像素值，R′、G′、B′为直方图线性变换后该点对应的RGB通道的像素值。

6.根据权利要求2所述的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，所述的步骤3)具体包括以下步骤：

31)通过稠密光流法计算视频样本内所有相邻帧的光流位移场；

32)将光流位移场转换为幅值强度场和相角强度场，转换的计算式具体为：

其中，mag(u，v)为位置为(u，v)的像素点p的移动幅值，ang(u，v)为位置为(u，v)的像素点p的移动相角，p_x(u，v)为位置为(u，v)的像素点p沿水平方向x的偏导，Py(u，v)为位置为(u，v)的像素点p沿竖直方向y的偏导；

33)将相角按一定间隔划分为m个区间，幅值按最大最小值之间的差值划分为n个区间，统计每个区间的像素分布信息，得到m维幅值分布直方图和n维相角分布直方图，将幅值分布直方图和相角分布直方图拼接得到m+n维特征作为视频相邻帧的帧间运动特征，并且以此提取视频样本内所有相邻帧的帧间特征。

7.根据权利要求6所述的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，所述的步骤4)具体为：

搭建一个包含L层的帧间特征分类神经网络，该网络输入m+n维帧间运动特征，中间包含L-2层隐含层，每层节点分别为h1、h2、h3，输出层的3个节点分别代表输入帧间特征对应的类别，即未摄食、弱摄食和强摄食，输出层分类函数采用SoftMax函数，基于交叉熵损失函数训练帧间特征分类神经网络，具体计算式为：

其中，

为帧间特征分类神经网络分类之后类别i对应的预测概率，z_i为分类神经网络对类别i的原始预测输出，C表示类别总数，且C＝3，y_i为类别i对应的真实标签，L为交叉熵损失函数。

8.根据权利要求6所述的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，所述的步骤5)中，对于每个视频样本，采用基于阈值的多数投票策略进行视频分类，具体为：

首先选择所有帧间特征分类结果中预测频率最高的类别作为该视频的候选类别，然后采用阈值判断的方法，若该预测类别占比高于设定阈值，则对该段视频类别作出确定性分类；否则，将该段视频判为不确定类别，并拒绝分类；

对于确定性分类的视频样本，将其对应类别的预测频率作为该样本的分类结果置信度，其表达式如下：

其中，Predict Category Samples为预测为该类别的样本数量，All Samples为样本的总数量。

9.根据权利要求6所述的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，所述的实际应用阶段具体包括以下步骤：

6)实际应用：拍摄待测试的鱼群巡游视频，重复步骤2-3)将视频样本转化为帧间特征样本，采用步骤4)已训练好的帧间特征分类网络对该视频内所有帧间特征分类，并根据步骤5)对该测试视频进行分类；

7)投饵指导：制定的阶梯式投饵策略，根据待测试视频的摄食状态分类结果作为反馈信号，并根据阶梯式投饵策略指导后续饵料投放。

10.根据权利要求7所述的一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法，其特征在于，所述的步骤7)中，阶梯式投饵策略具体为：

投饵前期保持正常投饵量α进行投饵，若当前摄食状态分类结果为强摄食，则继续保持投饵量α投饵；若当前摄食状态分类结果为弱摄食，则将投饵量减小为0.5α投饵；若鱼群处于未摄食状态或长期处于弱摄食状态，则停止投饵，该轮投饵操作结束，具体表示为：

其中，V(state，t)为投饵量，state为鱼群当前摄食状态，t为该状态维持时间。

Images