CN114612454A - 一种鱼类摄食状态检测方法 - Google Patents

一种鱼类摄食状态检测方法 Download PDF

Info

Publication number
CN114612454A
CN114612454A CN202210275358.XA CN202210275358A CN114612454A CN 114612454 A CN114612454 A CN 114612454A CN 202210275358 A CN202210275358 A CN 202210275358A CN 114612454 A CN114612454 A CN 114612454A
Authority
CN
China
Prior art keywords
depth
fish
feeding state
model
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210275358.XA
Other languages
English (en)
Inventor
黄平
郑金存
闭吕庆
黄添林
廖益杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulin Normal University
Original Assignee
Yulin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulin Normal University filed Critical Yulin Normal University
Priority to CN202210275358.XA priority Critical patent/CN114612454A/zh
Publication of CN114612454A publication Critical patent/CN114612454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种鱼类摄食状态检测方法，涉及鱼类养殖技术领域，解决现有的分鱼群摄食状态分类方法无法应用于复杂的工厂化养殖环境的技术问题，方法包括：通过深度相机采集鱼群一次完整摄食过程的深度图像；根据深度变化将深度图像转换成深度伪彩色图；将深度伪彩色图按强摄食、中等强度摄食、弱摄食、未摄食进行标注；构建简单卷积神经网络模型，使用标注好的深度伪彩色图训练简单卷积神经网络模型得到第一检测模型；使用第一检测模型进行实际检测鱼类摄食状态。本发明使用深度相机与图像处理程序相结合可实时获得鱼群摄食状态深度图和摄食状态序列数据，可使用较为简单卷积网络进行分类，或者可使用简单的循环神经网络进行分类。

Description

一种鱼类摄食状态检测方法
技术领域
本发明涉及鱼类养殖技术领域，更具体地说，它涉及一种鱼类摄食状态检测方法。
背景技术
目前，通过使用反映鱼群的摄食状态的特征向量与神经网络分类模型相结合的方式来实现鱼群摄食行为的研究成为了热点。如使用LeNet5卷积神经网络 (ConvolutionalNeural Network，CNN)对鱼群摄食的近红外图像进行分类，其平均准确率达到90％。使用以VGGNet和ResNet为骨干网络结构的双循环神经网络(Dual Stream Recurrent Network，DSRN)实现了对20帧鱼群摄食图像的2分类，分类准确率达到81.4％；由于DSRN网络结构较为复杂，计算参数多、计算时间长，因此需要配备高性能显卡的计算机，成本较高，不利于在工厂化养殖环境中推广。通过投票策略对鱼群摄食视频筛选，再使用光流法提取视频帧间运动特征(相角特征和幅值分布)，并结合CNN网络对鱼群摄食状态进行分类，平均准确率达97.6％。采用基于光流法的动能模型来量化鱼群摄食行为的空间特征，再使用长短期记忆人工神经网络(Long-Short Term Memory,LSTM) 对基于空间特征的向量序列进行分类，平均精度达到98.31％。使用光流法提取鱼群帧间运动特征，需对视频进行后期处理，特征提取过程繁琐，不具实时性和连续性，不能实现对鱼群摄食状态长时间监测，同时视频采集容易受到光照环境因素的影响，也不利于工程应用。
此外，大部分鱼群摄食状态分类算法都基于理想条件下开展研究，如循环水养殖、良好光源照明，导致此类算法在应用时往往受到生成成本、光照环境、水质清晰度等条件的限制，同时也存在部署困难的问题，无法应用于复杂的工厂化养殖环境。
发明内容
本发明要解决的技术问题是针对现有技术的上述不足，本发明的目的是提供一种鱼类摄食状态检测方法，在保证较高识别精度的同时，又降低对计算机资源的需求，有利于在实际生产环境中推广。
本发明的技术方案是：一种鱼类摄食状态检测方法，包括：
通过深度相机采集鱼群一次完整摄食过程的深度图像；
根据深度变化将所述深度图像转换成深度伪彩色图；
将所述深度伪彩色图按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建简单卷积神经网络模型，使用标注好的深度伪彩色图训练所述简单卷积神经网络模型得到第一检测模型；
使用所述第一检测模型进行实际检测鱼类摄食状态。
作为进一步地改进，使用不同的颜色表示不同的深度，将所述深度图像中鱼群的距离信息线性转换为HSV颜色模型的Hue值，再将HSV模型的颜色数值转换成对应的RGB彩色值得到深度伪彩色图，计算Hue值的公式如下：
Hue＝γ×[1-(Z(x，y)-Z0)/Z1-Z0] (1)
式(1)中的Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，其取值范围为所述深度相机设置的有效测量范围，[Z0，Z1] 为所述深度相机设置的有效测量范围的下限和上限取值，γ为取值为0.67的衰减因子。
进一步地，所述简单卷积神经网络模型依次包括维度为3的输入层、3个隐藏层、一个1个全局池化层、一个4分类的输出层；所述深度伪彩色图输入所述输入层，3个隐藏层均使用大小为5×5、步长为1的二维卷积核，3个隐藏层的激活函数均采用Relu激活函数，3个隐藏层的卷积核个数分别为32、64、128，每个卷积层后面均使用步长为2×2的平均池化层进行下采样处理，并使用丢弃率为0.2的Dropout层来防止网络过拟合；最后使用一个使用1个全局池化层来降低计算参数，并连接一个4分类的输出层，其中输出层使用Softmax分类函数预测类别概率。
进一步地，所述输出层还使用基于交叉熵损失函数优化训练，公式如下：
Figure BDA0003555515240000031
Figure BDA0003555515240000032
式(2)中的Pi为类别i的最终预测概率，zi为分类模型对类别为i的原始预算输出；zj为分类模型对类别为j的原始预算输出，C为类别总数，式(3)中的L为交叉熵损失函数，yi为类别i对应的标签。
进一步地，所述深度相机的型号为Azure Kinect DK。
进一步地，还包括：
对相邻两帧深度图像的像素总和值求差值，将差值作为表征鱼群的摄食强度量化指标E(k)，
Figure BDA0003555515240000033
Figure BDA0003555515240000034
Figure BDA0003555515240000035
其中，f(k)的表示第k幅深度图像的目标像素点总和值，Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，深度图像的像素为M*N；
以J个连续的E(k)数据为一组，将所有摄食强度量化指标E(k)划分为若干组时间序列；
将所述时间序列按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建门控循环单元网络模型，使用标注好的时间序列训练所述门控循环单元网络模型得到第二检测模型；
使用准确率Accuracy、精确率Precision、召回率Recall、特效度 Specificity、F1得分来评价所述第一检测模型、第二检测模型；若所述第一检测模型的F1得分高于所述第二检测模型的F1得分，则使用所述第一检测模型进行实际检测鱼类摄食状态；否则，使用所述第二检测模型进行实际检测鱼类摄食状态；
Accuracy＝(TP+TN)/(TP+TN+FP+FN) (7)
Precision＝TP/(TP+FP) (8)
Specificity＝TN/(TN+FP) (9)
Recall＝TP/(TP+FN) (10)
F1＝2*Precision*Recall/(Precision+Recall) (11)
式中，TP：真实值为正且预测也为正的样本数量；FP：真实值为负但预测为正的样本数量；FN：真实值为正但预测为负的样本数量；TN：真实值为负且预测也为负的样本数量。
进一步地，所述门控循环单元网络模型依次包括维度为32的嵌入层、2个隐藏层、卷积核个数为10的全连接层、4分类的输出层，2个隐藏层分别使用 32个和16个门控循环单元作为特征提取单元使用丢弃率为0.2的Dropout层来防止网络过拟合，输出层使用Softmax分类函数预测类别概率，并使基于交叉熵损失函数优化训练。
有益效果
本发明与现有技术相比，具有的优点为：
本发明使用深度相机与图像处理程序相结合可实时获得鱼群摄食状态深度图和摄食状态序列数据，由于鱼群摄食状态深度图的轮廓较为清晰，与背景区别也较为明显，因此可使用较为简单卷积网络进行分类；其次摄食状态序列数据实现了对鱼群摄食状态的量化，量化参数简单有效，也可使用简单的循环神经网络进行分类。本发明在保证较高识别精度的同时又降低对计算机资源的需求，有利于在实际生产环境中推广。
附图说明
图1为本发明的检测结构示意图；
图2为本发明中深度相机的检测参数示意图；
图3为本发明中的深度伪彩色图；
图4为本发明中的简单卷积神经网络模型图；
图5为本发明中的门控循环单元网络模型图。
具体实施方式
下面结合附图中的具体实施例对本发明做进一步的说明。
实施例1
参阅图1～4，一种鱼类摄食状态检测方法，包括：
通过深度相机采集鱼群一次完整摄食过程的深度图像，如图1所示；
根据深度变化将深度图像转换成深度伪彩色图，如图3所示；
将深度伪彩色图按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建简单卷积神经网络模型，如图4所示，使用标注好的深度伪彩色图训练简单卷积神经网络模型得到第一检测模型；
使用第一检测模型进行实际检测鱼类摄食状态。
在本实施例中，深度相机的型号为Azure KinectDK，如图1所示，深度相机1通过红外光源发射器2向养育池内连续发射经过调制的红外光脉冲，光照射到摄食鱼群表面，经过反射进入到深度相机1。由于鱼群摄食时不同位置至红外传感器的平面距离不同，进而反射光在空间的飞行距离不同，因此在接收端获得了发射脉冲和接收脉冲的相位差，通过深度相机的内部数字信号处理器处理相位差矩阵，重建出一幅分辨率为640*576 的深度图，深度图像素点代表物体的深度值，反映在视角范围内鱼群的轮廓特征。
在本实施例中，检测的是鲤鱼，其摄食习性为上浮水面摄食饵料，将AzureKinectDK深度相机放置于养育池正上方中心并向下俯拍，如图2所示。Azure KinectDK深度相机的有效测量范围为0.5～3.58m，超出此范围会引起较大误差，因此调节深度相机与养育池的水面距离为0.5m，使得深度相机的视野范围覆盖整个养育池水面。鲤鱼摄食区域为距离水面深度0.08m的区域，这个区域鱼群摄食较为明显，因此设置深度相机有效测量范围为0.48～0.58m，使得深度相机仅聚集在鱼群摄食区域进行拍摄，排除了其他未进入摄食区域鱼的干扰，进一步提高鱼群摄食强度分类的精度。鱼群摄食强度如表1所示。
摄食行为级别 鱼群行为 数据集类别
强 鱼群上浮水面主动摄食且运动范围大、鱼群面积分布大 摄食状态
中 鱼群中部分鱼上浮水面开始摄食运动范围小 摄食状态
弱 鱼群中少量鱼上浮水面并只对附近饵料有反应 摄食状态
无 鱼群对饵料无反应、潜在水下 非摄食状态
表1
使用不同的颜色表示不同的深度，将深度图像中鱼群的距离信息线性转换为HSV颜色模型的Hue值，再将HSV模型的颜色数值转换成对应的RGB彩色值得到深度伪彩色图，计算Hue值的公式如下：
Hue＝γ×[1-(Z(x，y)-Z0)/Z1-Z0] (1)
式(1)中的Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，其取值范围为所述深度相机设置的有效测量范围，[Z0，Z1] 为深度相机设置的有效测量范围的下限和上限取值即取值范围是500～580，Z0、 Z1分别为500与580，γ为取值为0.67的衰减因子，鱼在水面500～580mm的深度变化时，对应的色调Hue的值取值范围是0～0.67。再采用C#开发平台的 ColorConvertHSVtoRGB(H，S，V，R，G，B)方法将HSV颜色模型转换为RGB模型，其中H等于公式(1)的Hue的值，S、V的值为1，转换后的R，G，B的值乘上255即为实际的RGB颜色值，进而得到基于距离信息的伪彩色图，通过伪彩色图可提高对鱼群摄食状态的判断准确度。
在本实施例中，简单卷积神经网络模型依次包括维度为3的输入层、3个隐藏层、一个1个全局池化层、一个4分类的输出层；所述深度伪彩色图输入所述输入层，3个隐藏层均使用大小为5×5、步长为1的二维卷积核，3个隐藏层的激活函数均采用Relu激活函数，3个隐藏层的卷积核个数分别为32、64、128，每个卷积层后面均使用步长为2×2的平均池化层进行下采样处理，并使用丢弃率为0.2的Dropout层来防止网络过拟合；最后使用一个使用1个全局池化层 (Global Average Pooling，GAP)来降低计算参数，并连接一个4分类的输出层，其中输出层使用Softmax分类函数预测类别概率。
输出层还使用基于交叉熵损失函数优化训练，公式如下：
Figure BDA0003555515240000071
Figure BDA0003555515240000072
式(2)中的Pi为类别i的最终预测概率，zi为分类模型对类别为i的原始预算输出；zj为分类模型对类别为j的原始预算输出，C为类别总数，式(3)中的L为交叉熵损失函数，yi为类别i对应的标签。
实施例2
进一步的，在实施例的基础上，实施例2还包括：
对相邻两帧深度图像的像素总和值求差值，将差值作为表征鱼群的摄食强度量化指标E(k)，
Figure BDA0003555515240000081
Figure BDA0003555515240000082
Figure BDA0003555515240000083
其中，f(k)的表示第k幅深度图像的目标像素点总和值，Z(x，y)表示深度图中坐标为X，y处的深度值(以mm为单位)，即目标到深度相机的垂直距离值，深度图像的像素为M*N，由于深度图像素为640*576，所以x和y的取值分别为 0～640和0～576，即M＝640，N＝576，Z0、Z1分别为500与580；公式(6)表示当像素点的深度值在为500～580mm范围时(此区域为鱼群摄食区域)，此像素点的值设为1，用灰度值255(白色)表示；超出此范围的像素点，用灰度值 0(黑色)表示。
由式(5)可知鱼群在水面左右或水体不同深度上下交替游动越激烈，其鱼群目标像素总和的差值E(k)越大，说明鱼群摄食强度越高，反之亦然。因此E(k) 可作为量化鱼摄食强度的量化数据指标。
以J个连续的E(k)数据为一组，将所有摄食强度量化指标E(k)划分为若干组时间序列；在喂食状态下，视频采集时间为6～8分钟，可获得1800～2400 个E(k)个数据，根据鱼群摄食状态时间长度，取35个E(k)个数据作为一个时间序列，即J＝35，通过每一次的投喂活动获得10～20组反映鱼群摄食状态的序列数据。
将时间序列按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建门控循环单元网络模型，如图5所示，使用标注好的时间序列训练门控循环单元网络模型得到第二检测模型；
使用准确率Accuracy、精确率Precision、召回率Recall、特效度 Specificity、F1得分来评价第一检测模型、第二检测模型；若第一检测模型的 F1得分高于第二检测模型的F1得分，则使用第一检测模型进行实际检测鱼类摄食状态；否则，使用第二检测模型进行实际检测鱼类摄食状态；
Accuracy＝(TP+TN)/(TP+TN+FP+FN) (7)
Precision＝TP/(TP+FP) (8)
Specificity＝TN/(TN+FP) (9)
Recall＝TP/(TP+FN) (10)
F1＝2*Precision*Recall/(Precision+Recall) (11)
式中，TP：真实值为正且预测也为正的样本数量；FP：真实值为负但预测为正的样本数量；FN：真实值为正但预测为负的样本数量；TN：真实值为负且预测也为负的样本数量。
门控循环单元网络模型依次包括维度为32的嵌入层、2个隐藏层、卷积核个数为10的全连接层、4分类的输出层，2个隐藏层分别使用32个和16个门控循环单元作为特征提取单元，使用丢弃率为0.2的Dropout层来防止网络过拟合，输出层使用Softmax分类函数预测类别概率，并使基于交叉熵损失函数优化训练。
本发明使用深度相机与图像处理程序相结合可实时获得鱼群摄食状态深度图和摄食状态序列数据，由于鱼群摄食状态深度图的轮廓较为清晰，与背景区别也较为明显，因此可使用较为简单卷积网络进行分类；其次摄食状态序列数据实现了对鱼群摄食状态的量化，量化参数简单有效，也可使用简单的循环神经网络进行分类。本发明在保证较高识别精度的同时又降低对计算机资源的需求，有利于在实际生产环境中推广。
以上仅是本发明的优选实施方式，应当指出对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些都不会影响本发明实施的效果和专利的实用性。

Claims (7)

1.一种鱼类摄食状态检测方法，其特征在于，包括：
通过深度相机采集鱼群一次完整摄食过程的深度图像；
根据深度变化将所述深度图像转换成深度伪彩色图；
将所述深度伪彩色图按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建简单卷积神经网络模型，使用标注好的深度伪彩色图训练所述简单卷积神经网络模型得到第一检测模型；
使用所述第一检测模型进行实际检测鱼类摄食状态。
2.根据权利要求1所述的一种鱼类摄食状态检测方法，其特征在于，使用不同的颜色表示不同的深度，将所述深度图像中鱼群的距离信息线性转换为HSV颜色模型的Hue值，再将HSV模型的颜色数值转换成对应的RGB彩色值得到深度伪彩色图，计算Hue值的公式如下：
Hue＝γ×[1-(Z(x，y)-Z0)/Z1-Z0] (1)
式(1)中的Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，其取值范围为所述深度相机设置的有效测量范围，[Z0，Z1]为所述深度相机设置的有效测量范围的下限和上限取值，γ为取值为0.67的衰减因子。
3.根据权利要求1所述的一种鱼类摄食状态检测方法，其特征在于，所述简单卷积神经网络模型依次包括维度为3的输入层、3个隐藏层、一个1个全局池化层、一个4分类的输出层；所述深度伪彩色图输入所述输入层，3个隐藏层均使用大小为5×5、步长为1的二维卷积核，3个隐藏层的激活函数均采用Relu激活函数，3个隐藏层的卷积核个数分别为32、64、128，每个卷积层后面均使用步长为2×2的平均池化层进行下采样处理，并使用丢弃率为0.2的Dropout层来防止网络过拟合；最后使用一个使用1个全局池化层来降低计算参数，并连接一个4分类的输出层，其中输出层使用Softmax分类函数预测类别概率。
4.根据权利要求3所述的一种鱼类摄食状态检测方法，其特征在于，所述输出层还使用基于交叉熵损失函数优化训练，公式如下：
Figure FDA0003555515230000021
Figure FDA0003555515230000022
式(2)中的Pi为类别i的最终预测概率，zi为分类模型对类别为i的原始预算输出；zj为分类模型对类别为j的原始预算输出，C为类别总数，式(3)中的L为交叉熵损失函数，yi为类别i对应的标签。
5.根据权利要求1所述的一种鱼类摄食状态检测方法，其特征在于，所述深度相机的型号为Azure Kinect DK。
6.根据权利要求1-5任意一项所述的一种鱼类摄食状态检测方法，其特征在于，还包括：
对相邻两帧深度图像的像素总和值求差值，将差值作为表征鱼群的摄食强度量化指标E(k)，
Figure FDA0003555515230000023
Figure FDA0003555515230000024
Figure FDA0003555515230000025
其中，f(k)的表示第k幅深度图像的目标像素点总和值，Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，深度图像的像素为M*N；
以J个连续的E(k)数据为一组，将所有摄食强度量化指标E(k)划分为若干组时间序列；
将所述时间序列按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建门控循环单元网络模型，使用标注好的时间序列训练所述门控循环单元网络模型得到第二检测模型；
使用准确率Accuracy、精确率Precision、召回率Recall、特效度Specificity、F1得分来评价所述第一检测模型、第二检测模型；若所述第一检测模型的F1得分高于所述第二检测模型的F1得分，则使用所述第一检测模型进行实际检测鱼类摄食状态；否则，使用所述第二检测模型进行实际检测鱼类摄食状态；
Accuracy＝(TP+TN)/(TP+TN+FP+FN) (7)
Precision＝TP/(TP+FP) (8)
Specificity＝TN/(TN+FP) (9)
Recall＝TP/(TP+FN) (10)
F1＝2*Precision*Recall/(Precision+Recall) (11)
式中，TP：真实值为正且预测也为正的样本数量；FP：真实值为负但预测为正的样本数量；FN：真实值为正但预测为负的样本数量；TN：真实值为负且预测也为负的样本数量。
7.根据权利要求6所述的一种鱼类摄食状态检测方法，其特征在于，所述门控循环单元网络模型依次包括维度为32的嵌入层、2个隐藏层、卷积核个数为10的全连接层、4分类的输出层，2个隐藏层分别使用32个和16个门控循环单元作为特征提取单元使用丢弃率为0.2的Dropout层来防止网络过拟合，输出层使用Softmax分类函数预测类别概率，并使基于交叉熵损失函数优化训练。
CN202210275358.XA 2022-03-21 2022-03-21 一种鱼类摄食状态检测方法 Pending CN114612454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210275358.XA CN114612454A (zh) 2022-03-21 2022-03-21 一种鱼类摄食状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210275358.XA CN114612454A (zh) 2022-03-21 2022-03-21 一种鱼类摄食状态检测方法

Publications (1)

Publication Number Publication Date
CN114612454A true CN114612454A (zh) 2022-06-10

Family

ID=81864285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210275358.XA Pending CN114612454A (zh) 2022-03-21 2022-03-21 一种鱼类摄食状态检测方法

Country Status (1)

Country Link
CN (1) CN114612454A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578678A (zh) * 2022-11-08 2023-01-06 中国农业大学 一种鱼类摄食强度分类方法及系统
CN115690570A (zh) * 2023-01-05 2023-02-03 中国水产科学研究院黄海水产研究所 一种基于st-gcn的鱼群摄食强度预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578678A (zh) * 2022-11-08 2023-01-06 中国农业大学 一种鱼类摄食强度分类方法及系统
CN115690570A (zh) * 2023-01-05 2023-02-03 中国水产科学研究院黄海水产研究所 一种基于st-gcn的鱼群摄食强度预测方法

Similar Documents

Publication Publication Date Title
Hu et al. Real-time detection of uneaten feed pellets in underwater images for aquaculture using an improved YOLO-V4 network
Zhou et al. Evaluation of fish feeding intensity in aquaculture using a convolutional neural network and machine vision
Yang et al. Computer vision models in intelligent aquaculture with emphasis on fish detection and behavior analysis: a review
Li et al. Automatic counting methods in aquaculture: A review
Hu et al. Real-time nondestructive fish behavior detecting in mixed polyculture system using deep-learning and low-cost devices
Li et al. Deep learning for visual recognition and detection of aquatic animals: A review
CN112883861B (zh) 一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法
CN114612454A (zh) 一种鱼类摄食状态检测方法
Liu et al. A quantitative detection algorithm based on improved faster R-CNN for marine benthos
CN114994691B (zh) 一种基于可视化的渔业资源集群分布分析方法
Sun et al. Deep learning in aquaculture: A review
CN111406693A (zh) 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法
CN112766221B (zh) 基于船舶方向和位置多任务的sar图像船舶目标检测方法
CN114724022B (zh) 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质
CN112634202A (zh) 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统
CN112949380B (zh) 一种基于激光雷达点云数据的智能水下目标识别系统
Liao et al. Research on intelligent damage detection of far-sea cage based on machine vision and deep learning
Liu et al. Research progress of computer vision technology in abnormal fish detection
Sobolev et al. Convolution neural network for identification of underwater objects
Du et al. A novel automatic detection method for breeding behavior of broodstock based on improved YOLOv5
Yu et al. An automatic detection and counting method for fish lateral line scales of underwater fish based on improved YOLOv5
Liu et al. Evaluation of body weight of sea cucumber Apostichopus japonicus by computer vision
Newlands et al. Measurement of the size, shape and structure of Atlantic bluefin tuna schools in the open ocean
CN117115688A (zh) 基于深度学习的低亮度环境下死鱼识别计数系统及方法
CN117078637A (zh) 基于上下文聚合与自蒸馏的鱼群计数方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination