CN114451338B - 鱼群的摄食强度分级方法、装置及智能调速投饲机 - Google Patents
鱼群的摄食强度分级方法、装置及智能调速投饲机 Download PDFInfo
- Publication number
- CN114451338B CN114451338B CN202111642230.4A CN202111642230A CN114451338B CN 114451338 B CN114451338 B CN 114451338B CN 202111642230 A CN202111642230 A CN 202111642230A CN 114451338 B CN114451338 B CN 114451338B
- Authority
- CN
- China
- Prior art keywords
- glore
- resnet
- feeding
- residual
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 241000251468 Actinopterygii Species 0.000 claims abstract description 111
- 230000004634 feeding behavior Effects 0.000 claims abstract description 56
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 37
- 238000010586 diagram Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 238000007664 blowing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 244000144980 herd Species 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 4
- 238000013517 stratification Methods 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 230000035553 feeding performance Effects 0.000 claims 1
- 230000037406 food intake Effects 0.000 abstract description 18
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 238000009360 aquaculture Methods 0.000 description 2
- 244000144974 aquaculture Species 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/80—Feeding devices
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/10—Culture of aquatic animals of fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Environmental Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Zoology (AREA)
- Animal Husbandry (AREA)
- Artificial Intelligence (AREA)
- Marine Sciences & Fisheries (AREA)
- Biodiversity & Conservation Biology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种鱼群的摄食强度分级方法、装置及智能调速投饲机，该方法包括：获取鱼群摄食视频数据，并根据所述视频数据提取固定帧数的短视频段；将所述短视频段输入训练后的3D RESNET‑GLORE网络模型，输出鱼群摄食行为等级的识别结果；其中，所述3D RESNET‑GLORE网络模型为包括多组残差网络的模型，每组残差网络包括RESIDUAL残差块和GLORE单元。该方法能够真实反应鱼群的动态特性，从而有利于提高识别结果的准确性，同时基于包括RESIDUAL残差块和GLORE单元的3D RESNET‑GLORE网络模型，使得检测模型较少容量的情况下，能够具有较高的准确度。
Description
技术领域
本发明涉及鱼类养殖领域，尤其涉及一种鱼群的摄食强度分级方法、装置及智能调速投饲机。
背景技术
水产养殖中，实时探测与监控养殖水体中的鱼群的摄食强度变化情况，是制定科学的投饵策略的重要依据之一，其可以有效减少饵料浪费，进而实现经济效益与生态效益双赢。近年来，机器视觉因其广泛的应用性和获取可靠数据的优点，并结合特定的图像预处理及增强算法，通过机器视觉的方法解决鱼群摄食强度分级问题成为可能。同时，随着深度学习技术的发展，深度学习因其能从海量信息中自动提取高维特征的优势，实现了远超传统机器学习的精确度。
目前，有方法通过获取鱼群摄食过程中的摄食图像；将所述摄食图像输入预设的卷积神经网络模型，输出鱼群的饥饿程度；根据鱼群的饥饿程度，控制投饵量。也有方法利用变分自动编码器对水下视频进行编码得到特征矩阵，然后将特征矩阵输入到卷积神经网络中，实现鱼群的摄食行为二分类，准确率可达89％。
目前基于传统机器学习的机器视觉方法虽然实现了鱼群摄食强度的分级，但是传统的机器学习算法依赖于手工提取特征，例如提取鱼群的形状、纹理、离散度和游动速度等特征，提取的一个或者多个鱼群摄食强度特征很难全面反应鱼群摄食强度。而深度学习模型通过多层序列自动提取高度非线性和复杂的特征，能够全面的反应鱼群摄食强度的信息。但是采用图片数据的深度学习鱼群摄食强度的分级方法，鱼群摄食图像不包含鱼群的运动信息，不能反应鱼群行为的前后连贯性。
发明内容
针对现有技术存在的问题，本发明提供一种鱼群的摄食强度分级方法、装置及智能调速投饲机。
本发明提供一种鱼群的摄食强度分级方法，包括：获取鱼群摄食视频数据，并根据所述视频数据提取固定帧数的短视频段；将所述固定帧数的短视频段输入训练后的3DResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果；其中，所述3D ResNet-GloRe网络模型，根据已知摄食行为等级的样本视频数据进行训练后得到；所述3D ResNet-GloRe网络模型为包括多组残差网络的模型，每组残差网络包括Residual残差块和GloRe单元。
根据本发明一个实施例的鱼群的摄食强度分级方法，所述将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果，包括：将所述短视频段输入3D ResNet-GloRe网络模型，经3D卷积层提取特征后，依次输入四组3D残差网络，再经由平均池化后，得到视频特征图；根据所述视频特征图，输出摄食行为识别结果；其中，3D ResNet-GloRe是将3D ResNet18每组的第二个残差块用轻量级3D GloReunit替换得到，3D ResNet-GloRe网络的每组3D残差网络，均包括一个Residual残差块和一个GloRe单元。
根据本发明一个实施例的鱼群的摄食强度分级方法，所述依次输入四组3D残差网络，再经由平均池化后，得到视频特征图，包括：将3D卷积层提取的特征输入第一组残差网络的3D Residual残差块；每一组残差网络的3D Residual残差块的输出，作为同组3DGloRe单元的输入，每组3D GloRe单元的输出作为下组3D Residual残差块的输入，直至得到第四组残差网络的GloRe单元输出结果；根据第四组残差网络的3D GloRe单元输出结果，进行平均池化后，得到所述视频特征图。
根据本发明一个实施例的鱼群的摄食强度分级方法，所述将所述短视频段输入训练后的3D ResNet-GloRe网络模型之前，还包括：获取不同等级的鱼群摄食行为视频数据，并分别提取不同的固定帧数的短视频段，作为不同的样本数据；确定样本数据的鱼群摄食行为等级，作为对应的标签；将每个样本的短视频段输入搭建的3D ResNet-GloRe网络模型，根据输出结果和对应的标签，对所述3D ResNet-GloRe网络模型的参数进行更新；重复对所述3D ResNet-GloRe网络模型的参数进行更新的过程，直至满足预设达标条件，得到所述训练后的3D ResNet-GloRe网络模型。
根据本发明一个实施例的鱼群的摄食强度分级方法，所述根据所述视频数据提取固定帧数的短视频段，包括：根据所述视频数据，通过预设大小的滑动窗口采样，提取连续的固定帧数的短视频段。
根据本发明一个实施例的鱼群的摄食强度分级方法，所述输出鱼群摄食行为等级的识别结果之后，还包括：根据所述鱼群摄食行为等级，控制投饲机投饵量或投饵速度。
本发明还提供一种鱼群的摄食强度分级装置，包括：输入模块，用于获取鱼群摄食视频数据，并根据所述视频数据提取固定帧数的短视频段；处理模块，用于将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果；其中，所述3D ResNet-GloRe网络模型，根据已知摄食行为等级的样本视频数据进行训练后得到；所述3D ResNet-GloRe网络模型为包括多组残差网络的模型，每组残差网络包括Residual残差块和GloRe单元。
本发明还提供一种智能调速投饲机，包括：变频调速器、饲料箱、下料动力装置、饲料吹送装置以及上述鱼群的摄食强度分级装置；所述变频调速器，与所述下料动力装置连接，通过多段速控制实现下料动力装置的不同档速的饲料排放；所述多段速与所述识别结果的不同等级对应；所述饲料吹送装置，包括吹风电动机以及长距离饲料输送管，用于传输饲料。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述鱼群的摄食强度分级方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述鱼群的摄食强度分级方法的步骤。
本发明提供的鱼群的摄食强度分级方法、装置及智能调速投饲机，利用固定帧数的短视频段提取对应的摄食行为特征，能够真实反应鱼群的动态特性，从而有利于提高识别结果的准确性，同时基于包括RESIDUAL残差块和GLORE单元的3D RESNET-GLORE网络模型，使得检测模型较少容量的情况下，能够具有较高的准确度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的鱼群的摄食强度分级方法的流程示意图；
图2是本发明提供的3D ResNet-GloRe网络模型示意图；
图3是本发明提供的3D Residual block示意图；
图4是本发明提供的3D GloRe单元示意图；
图5是本发明提供的鱼群的摄食强度分级装置的结构示意图；
图6是本发明提供的鱼群的摄食强度分级装置的应用场景图；
图7是本发明提供的智能调速投饲机示意图；
图8是本发明提供的电子设备的结构示意图；
附图标记说明：1：变频调速器；2：饲料箱；3：下料动力装置；4：饲料输送管；5：吹风电动机；6：长距离饲料输送管。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
鱼群摄食行为视频包含连贯的鱼群行为帧，反映了鱼群空间上和时间上两重信息。因此，本发明采用鱼群摄食行为视频的深度学习摄食强度分级方法。
下面结合图1-图8描述本发明的鱼群的摄食强度分级方法、装置及智能调速投饲机。图1是本发明提供的鱼群的摄食强度分级方法的流程示意图，如图1所示，本发明提供鱼群的摄食强度分级方法，包括：
101、获取鱼群摄食视频数据，并根据所述视频数据提取连续的固定帧数的短视频段。
以循环养殖场景为例，在循环养殖池水面一段距离用防水摄像机拍摄，处理来自防水摄像机拍摄的原始鱼群摄食视频数据，再根据一段时间的摄食视频数据提取包括固定帧数图像的短视频段。其中，固定帧数进行预设。
102、将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果。
其中，所述3D ResNet-GloRe网络模型，根据已知摄食行为等级的样本视频数据进行训练后得到；所述3D ResNet-GloRe网络模型为包括多组残差网络的模型，每组残差网络包括Residual残差块和GloRe单元
将步骤102之前，对数据集划分成测试集，训练集和验证集，基于工厂养殖专家经验制作不同分类的数据集，如四分类的数据集。建立基于工厂养殖专家经验的四分类“strong”、“medium”、“weak”和“none”标准数据集，分类标准及各分类数量如表1。
表1数据集样本分类标准
| 摄食行为等级 | 鱼群行为 |
| 无(None) | 鱼群对饵料无反应 |
| 弱(Weak) | 鱼群只对附近饵料有反应 |
| 中(Medium) | 鱼群开始主动摄食但是运动范围小 |
| 强(Strong) | 鱼群主动摄食而且运动范围大 |
由于卷积神经网络中的ResNet模型的收敛速度快和收敛效果较理想，同时为了可以从3D视频数据中更好地识别鱼群摄食行为特征，本发明采用3D ResNet网络。为了充分利用3D数据中的上下文信息，具体采用3D Residual block，并结合GloRe推理单的3D版本。
构造对应的模型后，基于上述不同分类的数据集进行训练，训练完成后用于检测，得到对应的鱼群摄食行为等级的识别结果。
本发明提供的鱼群的摄食强度分级方法，利用固定帧数的短视频段提取对应的摄食行为特征，能够真实反应鱼群的动态特性，从而有利于提高识别结果的准确性，同时基于包括Residual残差块和GloRe单元的3D ResNet-GloRe网络模型，使得检测模型较少容量的情况下，能够具有较高的准确度。
在一个实施例中，所述将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果，包括：将所述固定帧数的短视频段输入3D ResNet-GloRe网络模型，经3D卷积层提取特征后，依次输入四组3D残差网络，再经由平均池化后，得到视频特征图；根据所述视频特征图，输出摄食行为识别结果；其中，3DResNet-GloRe是将3D ResNet18每组的第二个残差块用轻量级3D GloRe unit替换得到，3DResNet-GloRe网络的每组3D残差网络，均包括一个Residual残差块和一个GloRe单元。
3D Residual block的原始改进3D ResNet18网络，其兼顾准确率、计算复杂度以及网络容量，因此使用3D ResNet18作为本模型的骨干网络进行改进工作。但是，3DResNet18模型的参数数量与计算量还是过大，因此本发明引入3D GloRe unit，由于3DGloRe unit和3DResidual block相似的残差性，3D GloRe unit可以很容易地并入现有的骨干3D ResNet18骨干网络中。其中，3D ResNet18一共有4组，8个3D Residual block，每组中第二个残差块用轻量级3D GloRe unit替换，搭建轻量级网络3D ResNet-GloRe网络。3DResNet-GloRe每组3D残差网络，均包括一个Residual残差块和一个GloRe单元。
本发明实施例的鱼群的摄食强度分级方法，由于采用3D ResNet-GloRe网络，进一步减小模型容量，同时结合Residual残差块和GloRe单元，有利于保证模型的准确性。
在一个实施例中，所述依次输入四组3D残差网络，再经由平均池化后，得到视频特征图，包括：将3D卷积层提取的特征输入第一组残差网络的3D Residual残差块；每一组残差网络的3D Residual残差块的输出，作为同组3D GloRe单元的输入，每组3D GloRe单元的输出作为下组3D Residual残差块的输入，直至得到第四组残差网络的3D GloRe单元输出结果；根据第四组残差网络的3D GloRe单元输出结果，进行平均池化后，得到所述视频特征图。
鱼类摄食这样的3D视频数据，空间信息在鱼类摄食的分类中起着重要作用。3D深度学习模型可以从3D视频数据中更好地识别鱼群摄食行为特征。具体来说，3D Residualblock的卷积层、批量标准化层和池化层都是3D版本的，如图2所示。3D残差模块Residualblock的算法流程如图3所示，其中，激活函数采用ReLU，在训练网络时利用ReLU可以有效提高训练速度，BN表示归一化操作。
3D Residual block算法流程，输入特征图x，输出特征图xr。
第一步是3D的3×3×3卷积操作，进行特征提取。
x3＝σ(BN(conv3×3×3(x)))
第二步是3D的3×3×3卷积操作，进行特征提取。
x33＝σ(BN(conv3×3×3(x3)))
第三步是残差特征图和输入特征图的信息融合，特征图的逐像素相加。
xr＝x+x33
GloRe推理单元如图4所示，具体参数和说明可参见现有技术关于GloRe推理单的说明，其采用了图卷积的推理能力，建立了一个通用的端到端可训练的模块，在不相交或遥远区域之间的关系图上执行更高级别的推理，为ResNet网络带来性能提高。GloRe单元首先将从坐标空间的特征投射到潜在交互空间中的特征，在相互作用空间内建立一个新的全连通图，其中每个节点将新特性存储为其状态。关系推理被简化为在一个较小的图上，并得到图的每个节点的特征，然后应用图卷积来建模和推理每一对节点之间的上下文关系。之后执行反向投影，将得到的特征转换回原始的坐标空间。如同Residual block的3D版本一样，GloRe推理单元也是3D版本。从图4中也可以看出，推理单元右边附加一个卷积层，连接形成了一条残差路径。
首先找到映射原始特征到交互空间的投影函数f(·)，给定一组输入特征X∈RL×C，通过学习投影函数，使新的特征V＝f(X)∈RN×C在交互空间中对不相交和遥远的区域进行进一步的全局推理，N是交互空间中节点的数量。通过直接推理一组区域，将投影函数表示为原始特征的线性组合，这样新的特征可以聚合来自多个区域的信息，特征公式：
其中，B＝[b1,…,bN]∈RN×L,xj∈R1×C,vi∈R1×C。
将特征从坐标空间投射到交互空间后，将特征视为全连接图的节点，通过学习每个节点的潜在全局池特征的相互作用的边权值来对全连通图进行推理，全连接图采用了高效的图卷积模块。为了与3DResNet骨干网络兼容，最后一步是将输出的特征经过关系推理后投影回原始空间。从推理中得到的更新特征可以被模块中的卷积层利用，从而做出更好的决策。这个反向投影与第一步的投影相似。已知节点特征矩阵Z∈RN×C，将特征变换到Y∈RL×C的映射函数:
Y＝g(Z)
线性投影g(Z)：
其中，搭建图中的全局推理轻量级网络3D ResNet-GloRe是轻量级的，因此可以在整个网络中插入多次，多个插入的全局推理单元可以提高下游任务的性能。3D ResNet18一共有4组，8个3D Residual block，每组的第二个残差块用轻量级3D GloRe unit替换，如图2所示。新的3D ResNet-GloRe网络大幅降低了模型参数数量与计算量(params和FLOPs)，Parameters参数下降了46.08％，GFLOPs参数下降了44.10％。提高了识别精度，3D ResNet-GloRe算法精度为92.68％，比原始3D ResNet算法提高了4.88％。
在一个实施例中，所述将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型之前，还包括：获取不同等级的鱼群摄食行为视频数据，并分别提取不同的固定帧数的短视频段，作为不同的样本数据；确定样本数据的鱼群摄食行为等级，作为对应的标签；将每个样本的固定帧数的短视频段输入搭建的3D ResNet-GloRe网络模型，根据输出结果和对应的标签，对所述3D ResNet-GloRe网络模型的参数进行更新；重复对所述3DResNet-GloRe网络模型的参数进行更新的过程，直至满足预设达标条件，得到所述训练后的3D ResNet-GloRe网络模型。
即设置网络初始参数，将得到的训练数据集和验证数据集作为轻量级3D ResNet-GloRe网络的输入，对模型进行训练，生成训练后模型，以及通过验证数据集验证模型，是否满足精度或准确度的预设达标条件。此外，预设达标条件也可以是预设次数。具体的训练过程可参见上述实施例，此处不再赘述。
在一个实施例中，所述根据所述视频数据提取固定帧数的短视频段，包括：根据所述视频数据，通过预设大小的滑动窗口采样，提取连续的固定帧数的短视频段。
具体可采用滑动窗口的形式不间断获取多帧连续的图像，得到连续的不同摄食行为等级，可反应摄食行为等级随时间的变化过程。
在一个实施例中，所述输出鱼群摄食行为等级的识别结果之后，还包括：根据所述鱼群摄食行为等级，控制投饲机投饵量或投饵速度。
如根据上述四类摄食行为等级，智能调速投饲机的四档变速功能，可通过变频器的多段速功能编程实现。通过四类摄食行为等级分别控制饲料投放的速，可实现准确的饲料投喂，不仅可以避免饲料浪费，还可以避免过度投喂和投喂不足的情况。
下面对本发明提供的鱼群的摄食强度分级装置进行描述，下文描述的鱼群的摄食强度分级装置与上文描述的鱼群的摄食强度分级方法可相互对应参照。
图5是本发明提供的鱼群的摄食强度分级装置的结构示意图，如图5所示，该鱼群的摄食强度分级装置包括：输入模块501和处理模块502。其中，输入模块501用于获取鱼群摄食视频数据，并根据所述视频数据提取固定帧数的短视频段；处理模块502用于将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果；其中，所述3D ResNet-GloRe网络模型，根据已知摄食行为等级的样本视频数据进行训练后得到；所述3D ResNet-GloRe网络模型为包括多组残差网络的模型，每组残差网络包括Residual残差块和GloRe单元。
在一个装置实施例中，处理模块502具体用于：将所述固定帧数的短视频段输入3DResNet-GloRe网络模型，经3D卷积层提取特征后，依次输入四组3D残差网络，再经由平均池化后，得到视频特征图；根据所述视频特征图，输出摄食行为识别结果；其中，每组3D残差网络，均包括一个Residual残差块和一个GloRe单元。
在一个装置实施例中，处理模块502具体用于：将3D卷积层提取的特征输入第一组残差网络的3D Residual残差块；每一组残差网络的3D Residual残差块的输出，作为同组3D GloRe单元的输入，每组3D GloRe单元的输出作为下组3D Residual残差块的输入，直至得到第四组残差网络的3D GloRe单元输出结果；根据第四组残差网络的3D GloRe单元输出结果，进行平均池化后，得到所述视频特征图。
在一个装置实施例中，处理模块502具体用于，所述将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型之前：获取不同等级的鱼群摄食行为视频数据，并分别提取不同的固定帧数的短视频段，作为不同的样本数据；确定样本数据的鱼群摄食行为等级，作为对应的标签；将每个样本的固定帧数的短视频段输入搭建的3D ResNet-GloRe网络模型，根据输出结果和对应的标签，对所述3D ResNet-GloRe网络模型的参数进行更新；重复对所述3D ResNet-GloRe网络模型的参数进行更新的过程，直至满足预设达标条件，得到所述训练后的3D ResNet-GloRe网络模型。
在一个装置实施例中，输入模块501具体用于：根据所述视频数据，通过预设大小的滑动窗口采样，提取连续的固定帧数的短视频段。
在一个装置实施例中，还包括调节模块，用于所述输出鱼群摄食行为等级的识别结果之后，根据所述鱼群摄食行为等级，控制投饲机投饵量或投饵速度。
在一个装置实施例中，还包括防水摄像设备，用于在输入模块501控制下实时采集鱼群摄食视频流。所述摄像设备采集视频流后传送给所述输入模块501，输入模块501提取预设数量的图像帧后，处理模块502根据训练好的模型判断鱼群摄食强度，输出摄食动作标签。
在一个装置实施例中，还包括光源，用于为所述防水摄像设备补光。图6是本发明提供的鱼群的摄食强度分级装置的应用场景图，如图6所示，其中的运算处理器、光源和防水摄像设备构成本发明的摄食强度分级装置。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的鱼群的摄食强度分级装置，利用固定帧数的短视频段提取对应的摄食行为特征，能够真实反应鱼群的动态特性，从而有利于提高识别结果的准确性，同时基于包括RESIDUAL残差块和GLORE单元的3D RESNET-GLORE网络模型，使得检测模型较少容量的情况下，能够具有较高的准确度。
图7是本发明提供的智能调速投饲机示意图，该智能调速投饲机包括：变频调速器1、饲料箱2、下料动力装置3、饲料吹送装置以及上述装置实施例的鱼群的摄食强度分级装置；所述变频调速器1与所述下料动力装置3连接，通过多段速控制实现下料动力装置3的不同档速的饲料排放；所述多段速与所述识别结果的不同等级对应；所述饲料箱2用于盛放饵料；所述饲料吹送装置，包括吹风电动机5以及长距离饲料输送管6，用于传输饲料。其中，饲料输送管4用于初始下料过程中的输送，然后通过吹风电动机5在经由长距离饲料输送管6进行最终输送。
变频器通过5个端子X1、X2、X3、X4和GND，四个开关S1、S2、S3和S4，以及分线盒实现四档速控制。
其中，所述的智能调速投饲机的四档变速功能通过变频器的多段速功能编程实现。
一个具体实例中，在64位windows10操作系统平台上，基于PyTorch深度学习框架并使用Python语言构建鱼群摄食强度分级模型，使用一块NVIDIA GTX 2080ti GPU完成模型的训练。将batch size设置为16,迭代次数设置为500，学习率设为0.001，通过SGD优化器对网络参数进行优化。训练使用16帧RGB剪辑作为输入，输入数据大小为3通道×16帧×112像素×112像素，加速环境为CUDA10.1和CUDNN7.6.5。
本实施例基于摄食强度分级装置和调速投饲机联合实现。当摄食强度分级装置检测当前摄食强度处于“strong”，闭合四个开关，让多段速处于最高挡位，50Hz，下料电机全功率运转。当摄食强度检测装置检测当前摄食强度处于“medium”，关闭S3开关，保持其它开关闭合，让多端速处于中等强度挡位，35Hz，下料电机降低一部份下料速度。当摄食强度检测装置检测当前摄食强度处于“weak”，关闭S2、S4开关，保持其它开关闭合，让多端速处于低强度挡位，10Hz，下料电机低速运行。当摄食强度检测装置检测当前摄食强度处于“none”，关闭所有开关，停止投喂。
本发明提供的智能调速投饲机，通过不同摄食行为等级分别控制饲料投放的速，可实现准确的饲料投喂，不仅可以避免饲料浪费，还可以避免过度投喂和投喂不足的情况。
图8是本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)801、通信接口(Communications Interface)802、存储器(memory)803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。处理器801可以调用存储器803中的逻辑指令，以执行鱼群的摄食强度分级方法，该方法包括：获取鱼群摄食视频数据，并根据所述视频数据提取固定帧数的短视频段；将所述固定帧数的短视频段输入训练后的3D RESNET-GLORE网络模型，输出鱼群摄食行为等级的识别结果；其中，所述3D RESNET-GLORE网络模型，根据已知摄食行为等级的样本视频数据进行训练后得到；所述3D RESNET-GLORE网络模型为包括多组残差网络的模型，每组残差网络包括RESIDUAL残差块和GLORE单元。
此外，上述的存储器803中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的鱼群的摄食强度分级方法，该方法包括：获取鱼群摄食视频数据，并根据所述视频数据提取固定帧数的短视频段；将所述固定帧数的短视频段输入训练后的3D RESNET-GLORE网络模型，输出鱼群摄食行为等级的识别结果；其中，所述3D RESNET-GLORE网络模型，根据已知摄食行为等级的样本视频数据进行训练后得到；所述3D RESNET-GLORE网络模型为包括多组残差网络的模型，每组残差网络包括RESIDUAL残差块和GLORE单元。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的鱼群的摄食强度分级方法，该方法包括：获取鱼群摄食视频数据，并根据所述视频数据提取固定帧数的短视频段；将所述固定帧数的短视频段输入训练后的3D RESNET-GLORE网络模型，输出鱼群摄食行为等级的识别结果；其中，所述3D RESNET-GLORE网络模型，根据已知摄食行为等级的样本视频数据进行训练后得到；所述3D RESNET-GLORE网络模型为包括多组残差网络的模型，每组残差网络包括RESIDUAL残差块和GLORE单元。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种鱼群的摄食强度分级方法，其特征在于，包括：
获取鱼群摄食视频数据，并根据所述视频数据提取固定帧数的短视频段；
将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果；
其中，所述3D ResNet-GloRe网络模型，根据已知摄食行为等级的样本视频数据进行训练后得到；所述3D ResNet-GloRe网络模型为包括多组残差网络的模型，每组残差网络包括3D Residual残差块和GloRe单元；
所述将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果，包括：
将所述固定帧数的短视频段输入3D ResNet-GloRe网络模型，经3D卷积层提取特征后，依次输入四组3D残差网络，再经由平均池化后，得到视频特征图；
根据所述视频特征图，输出摄食行为识别结果；
其中，3D ResNet-GloRe是将3D ResNet18每组的第二个残差块用轻量级3D GloReunit替换得到， 3D ResNet-GloRe每组3D残差网络，均包括一个Residual残差块和一个3DGloRe单元。
2.根据权利要求1所述的鱼群的摄食强度分级方法，其特征在于，所述依次输入四组3D残差网络，再经由平均池化后，得到视频特征图，包括：
将3D卷积层提取的特征输入第一组残差网络的3D Residual残差块；
每一组残差网络的3D Residual残差块的输出，作为同组3D GloRe单元的输入，每组3DGloRe单元的输出作为下组3D Residual残差块的输入，直至得到第四组残差网络的3DGloRe单元输出结果；
根据第四组残差网络的3D GloRe单元输出结果，进行平均池化后，得到所述视频特征图。
3.根据权利要求1所述的鱼群的摄食强度分级方法，其特征在于，所述将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型之前，还包括：
获取不同等级的鱼群摄食行为视频数据，并分别提取不同的固定帧数的短视频段，作为不同的样本数据；
确定样本数据的鱼群摄食行为等级，作为对应的标签；
将每个样本的固定帧数的短视频段输入搭建的3D ResNet-GloRe网络模型，根据输出结果和对应的标签，对所述3D ResNet-GloRe网络模型的参数进行更新；
重复对所述3D ResNet-GloRe网络模型的参数进行更新的过程，直至满足预设达标条件，得到所述训练后的3D ResNet-GloRe网络模型。
4.根据权利要求1所述的鱼群的摄食强度分级方法，其特征在于，所述根据所述视频数据提取固定帧数的短视频段，包括：
根据所述视频数据，通过预设大小的滑动窗口采样，提取连续的固定帧数的短视频段。
5.根据权利要求1所述的鱼群的摄食强度分级方法，其特征在于，所述输出鱼群摄食行为等级的识别结果之后，还包括：
根据所述鱼群摄食行为等级，控制投饲机投饵量或投饵速度。
6.一种鱼群的摄食强度分级装置，其特征在于，包括：
输入模块，用于获取鱼群摄食视频数据，并根据所述视频数据提取固定帧数的短视频段；
处理模块，用于将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果；
其中，所述3D ResNet-GloRe网络模型，根据已知摄食行为等级的样本视频数据进行训练后得到；所述3D ResNet-GloRe网络模型为包括多组残差网络的模型，每组残差网络包括Residual残差块和GloRe单元；
所述将所述固定帧数的短视频段输入训练后的3D ResNet-GloRe网络模型，输出鱼群摄食行为等级的识别结果，包括：
将所述固定帧数的短视频段输入3D ResNet-GloRe网络模型，经3D卷积层提取特征后，依次输入四组3D残差网络，再经由平均池化后，得到视频特征图；
根据所述视频特征图，输出摄食行为识别结果；
其中，3D ResNet-GloRe是将3D ResNet18每组的第二个残差块用轻量级3D GloReunit替换得到， 3D ResNet-GloRe每组3D残差网络，均包括一个Residual残差块和一个3DGloRe单元。
7.一种智能调速投饲机，其特征在于，包括：
变频调速器、饲料箱、下料动力装置、饲料吹送装置以及权利要求6所述的鱼群的摄食强度分级装置；
所述变频调速器，与所述下料动力装置连接，通过多段速控制实现下料动力装置的不同档速的饲料排放；所述多段速与识别结果的不同等级对应；
所述饲料箱用于盛放饵料，所述饲料吹送装置，包括吹风电动机以及长距离饲料输送管，用于传输饲料。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述鱼群的摄食强度分级方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述鱼群的摄食强度分级方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111642230.4A CN114451338B (zh) | 2021-12-29 | 2021-12-29 | 鱼群的摄食强度分级方法、装置及智能调速投饲机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111642230.4A CN114451338B (zh) | 2021-12-29 | 2021-12-29 | 鱼群的摄食强度分级方法、装置及智能调速投饲机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114451338A CN114451338A (zh) | 2022-05-10 |
| CN114451338B true CN114451338B (zh) | 2023-03-31 |
Family
ID=81407242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111642230.4A Active CN114451338B (zh) | 2021-12-29 | 2021-12-29 | 鱼群的摄食强度分级方法、装置及智能调速投饲机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114451338B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115049692B (zh) * | 2022-08-15 | 2022-12-16 | 山东万牧农业科技有限公司郯城分公司 | 模拟自然生态的海洋水产养殖光照智能调节方法及系统 |
| CN115690570B (zh) * | 2023-01-05 | 2023-03-28 | 中国水产科学研究院黄海水产研究所 | 一种基于st-gcn的鱼群摄食强度预测方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201710372D0 (en) * | 2017-06-28 | 2017-08-09 | Observe Tech Ltd | System and method of feeding aquatic animals |
| US11455495B2 (en) * | 2019-04-02 | 2022-09-27 | Synthesis Ai, Inc. | System and method for visual recognition using synthetic training data |
| US11213015B2 (en) * | 2019-09-17 | 2022-01-04 | Eknauth Persaud | System and a method of lab animal observation |
| CN111240200A (zh) * | 2020-01-16 | 2020-06-05 | 北京农业信息技术研究中心 | 鱼群投饵控制方法、鱼群投饵控制装置及投饵船 |
| CN111528143B (zh) * | 2020-05-26 | 2021-08-20 | 大连海洋大学 | 一种鱼群摄食行为量化方法、系统、装置和存储介质 |
| CN112213962A (zh) * | 2020-08-21 | 2021-01-12 | 四川渔光物联技术有限公司 | 一种基于生长模型与声呐反馈的智能投饲系统及方法 |
| CN112273310A (zh) * | 2020-11-03 | 2021-01-29 | 浙江海洋大学 | 围网养殖智能投喂系统 |
| CN112883861B (zh) * | 2021-02-07 | 2022-06-14 | 同济大学 | 一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法 |
-
2021
- 2021-12-29 CN CN202111642230.4A patent/CN114451338B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| 计算机视觉技术在水产养殖中的应用与展望;徐建瑜等;《农业工程学报》;20060330(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114451338A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114451338B (zh) | 鱼群的摄食强度分级方法、装置及智能调速投饲机 | |
| WO2020192736A1 (zh) | 物体识别方法及装置 | |
| Xu et al. | A systematic review and analysis of deep learning-based underwater object detection | |
| US10535141B2 (en) | Differentiable jaccard loss approximation for training an artificial neural network | |
| CN110738309B (zh) | Ddnn的训练方法和基于ddnn的多视角目标识别方法和系统 | |
| CN111242844B (zh) | 图像处理方法、装置、服务器和存储介质 | |
| CN111832592B (zh) | Rgbd显著性检测方法以及相关装置 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN110826592A (zh) | 一种基于全卷积神经网络的对虾养殖残饵计数方法 | |
| CN113221864A (zh) | 多区域深度特征融合的病鸡视觉识别模型构建及应用方法 | |
| CN113349111A (zh) | 一种用于水产养殖物的动态投喂方法、系统和存储介质 | |
| Kounalakis et al. | A robotic system employing deep learning for visual recognition and detection of weeds in grasslands | |
| TW202100944A (zh) | 基於立體視覺的生物自動量測系統及其量測方法 | |
| CN110705564B (zh) | 图像识别的方法和装置 | |
| CN115471871A (zh) | 一种基于目标检测和分类网络的麻鸭性别分类识别方法 | |
| CN111626969A (zh) | 一种基于注意力机制的玉米病害图像处理方法 | |
| CN114997725A (zh) | 基于注意力机制与轻量级卷积神经网络的奶牛体况评分方法 | |
| Koo et al. | A jellyfish distribution management system using an unmanned aerial vehicle and unmanned surface vehicles | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 | |
| CN114494344A (zh) | 一种基于Transformer的鱼群摄食决策方法 | |
| Deng et al. | An automatic body length estimating method for Micropterus salmoides using local water surface stereo vision | |
| US20240029289A1 (en) | System and method for estimating a length of underwater creatures | |
| CN111126364A (zh) | 一种基于分组卷积神经网络的表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |