CN114612454A - 一种鱼类摄食状态检测方法 - Google Patents

一种鱼类摄食状态检测方法 Download PDF

Info

Publication number
CN114612454A
CN114612454A CN202210275358.XA CN202210275358A CN114612454A CN 114612454 A CN114612454 A CN 114612454A CN 202210275358 A CN202210275358 A CN 202210275358A CN 114612454 A CN114612454 A CN 114612454A
Authority
CN
China
Prior art keywords
depth
fish
feeding state
model
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210275358.XA
Other languages
English (en)
Inventor
黄平
郑金存
闭吕庆
黄添林
廖益杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulin Normal University
Original Assignee
Yulin Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulin Normal University filed Critical Yulin Normal University
Priority to CN202210275358.XA priority Critical patent/CN114612454A/zh
Publication of CN114612454A publication Critical patent/CN114612454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种鱼类摄食状态检测方法，涉及鱼类养殖技术领域，解决现有的分鱼群摄食状态分类方法无法应用于复杂的工厂化养殖环境的技术问题，方法包括：通过深度相机采集鱼群一次完整摄食过程的深度图像；根据深度变化将深度图像转换成深度伪彩色图；将深度伪彩色图按强摄食、中等强度摄食、弱摄食、未摄食进行标注；构建简单卷积神经网络模型，使用标注好的深度伪彩色图训练简单卷积神经网络模型得到第一检测模型；使用第一检测模型进行实际检测鱼类摄食状态。本发明使用深度相机与图像处理程序相结合可实时获得鱼群摄食状态深度图和摄食状态序列数据，可使用较为简单卷积网络进行分类，或者可使用简单的循环神经网络进行分类。

Description

一种鱼类摄食状态检测方法
技术领域
本发明涉及鱼类养殖技术领域，更具体地说，它涉及一种鱼类摄食状态检测方法。
背景技术
目前，通过使用反映鱼群的摄食状态的特征向量与神经网络分类模型相结合的方式来实现鱼群摄食行为的研究成为了热点。如使用LeNet5卷积神经网络 (ConvolutionalNeural Network，CNN)对鱼群摄食的近红外图像进行分类，其平均准确率达到90％。使用以VGGNet和ResNet为骨干网络结构的双循环神经网络(Dual Stream Recurrent Network，DSRN)实现了对20帧鱼群摄食图像的2分类，分类准确率达到81.4％；由于DSRN网络结构较为复杂，计算参数多、计算时间长，因此需要配备高性能显卡的计算机，成本较高，不利于在工厂化养殖环境中推广。通过投票策略对鱼群摄食视频筛选，再使用光流法提取视频帧间运动特征(相角特征和幅值分布)，并结合CNN网络对鱼群摄食状态进行分类，平均准确率达97.6％。采用基于光流法的动能模型来量化鱼群摄食行为的空间特征，再使用长短期记忆人工神经网络(Long-Short Term Memory,LSTM) 对基于空间特征的向量序列进行分类，平均精度达到98.31％。使用光流法提取鱼群帧间运动特征，需对视频进行后期处理，特征提取过程繁琐，不具实时性和连续性，不能实现对鱼群摄食状态长时间监测，同时视频采集容易受到光照环境因素的影响，也不利于工程应用。
此外，大部分鱼群摄食状态分类算法都基于理想条件下开展研究，如循环水养殖、良好光源照明，导致此类算法在应用时往往受到生成成本、光照环境、水质清晰度等条件的限制，同时也存在部署困难的问题，无法应用于复杂的工厂化养殖环境。
发明内容
本发明要解决的技术问题是针对现有技术的上述不足，本发明的目的是提供一种鱼类摄食状态检测方法，在保证较高识别精度的同时，又降低对计算机资源的需求，有利于在实际生产环境中推广。
本发明的技术方案是：一种鱼类摄食状态检测方法，包括：
通过深度相机采集鱼群一次完整摄食过程的深度图像；
根据深度变化将所述深度图像转换成深度伪彩色图；
将所述深度伪彩色图按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建简单卷积神经网络模型，使用标注好的深度伪彩色图训练所述简单卷积神经网络模型得到第一检测模型；
使用所述第一检测模型进行实际检测鱼类摄食状态。
作为进一步地改进，使用不同的颜色表示不同的深度，将所述深度图像中鱼群的距离信息线性转换为HSV颜色模型的Hue值，再将HSV模型的颜色数值转换成对应的RGB彩色值得到深度伪彩色图，计算Hue值的公式如下：
Hue＝γ×[1-(Z(x，y)-Z0)/Z1-Z0] (1)
式(1)中的Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，其取值范围为所述深度相机设置的有效测量范围，[Z0，Z1] 为所述深度相机设置的有效测量范围的下限和上限取值，γ为取值为0.67的衰减因子。
进一步地，所述简单卷积神经网络模型依次包括维度为3的输入层、3个隐藏层、一个1个全局池化层、一个4分类的输出层；所述深度伪彩色图输入所述输入层，3个隐藏层均使用大小为5×5、步长为1的二维卷积核，3个隐藏层的激活函数均采用Relu激活函数，3个隐藏层的卷积核个数分别为32、64、128，每个卷积层后面均使用步长为2×2的平均池化层进行下采样处理，并使用丢弃率为0.2的Dropout层来防止网络过拟合；最后使用一个使用1个全局池化层来降低计算参数，并连接一个4分类的输出层，其中输出层使用Softmax分类函数预测类别概率。
进一步地，所述输出层还使用基于交叉熵损失函数优化训练，公式如下：
Figure BDA0003555515240000031
Figure BDA0003555515240000032
式(2)中的Pi为类别i的最终预测概率，zi为分类模型对类别为i的原始预算输出；zj为分类模型对类别为j的原始预算输出，C为类别总数，式(3)中的L为交叉熵损失函数，yi为类别i对应的标签。
进一步地，所述深度相机的型号为Azure Kinect DK。
进一步地，还包括：
对相邻两帧深度图像的像素总和值求差值，将差值作为表征鱼群的摄食强度量化指标E(k)，
Figure BDA0003555515240000033
Figure BDA0003555515240000034
Figure BDA0003555515240000035
其中，f(k)的表示第k幅深度图像的目标像素点总和值，Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，深度图像的像素为M*N；
以J个连续的E(k)数据为一组，将所有摄食强度量化指标E(k)划分为若干组时间序列；
将所述时间序列按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建门控循环单元网络模型，使用标注好的时间序列训练所述门控循环单元网络模型得到第二检测模型；
使用准确率Accuracy、精确率Precision、召回率Recall、特效度 Specificity、F1得分来评价所述第一检测模型、第二检测模型；若所述第一检测模型的F1得分高于所述第二检测模型的F1得分，则使用所述第一检测模型进行实际检测鱼类摄食状态；否则，使用所述第二检测模型进行实际检测鱼类摄食状态；
Accuracy＝(TP+TN)/(TP+TN+FP+FN) (7)
Precision＝TP/(TP+FP) (8)
Specificity＝TN/(TN+FP) (9)
Recall＝TP/(TP+FN) (10)
F1＝2*Precision*Recall/(Precision+Recall) (11)
式中，TP：真实值为正且预测也为正的样本数量；FP：真实值为负但预测为正的样本数量；FN：真实值为正但预测为负的样本数量；TN：真实值为负且预测也为负的样本数量。
进一步地，所述门控循环单元网络模型依次包括维度为32的嵌入层、2个隐藏层、卷积核个数为10的全连接层、4分类的输出层，2个隐藏层分别使用 32个和16个门控循环单元作为特征提取单元使用丢弃率为0.2的Dropout层来防止网络过拟合，输出层使用Softmax分类函数预测类别概率，并使基于交叉熵损失函数优化训练。
有益效果
本发明与现有技术相比，具有的优点为：
本发明使用深度相机与图像处理程序相结合可实时获得鱼群摄食状态深度图和摄食状态序列数据，由于鱼群摄食状态深度图的轮廓较为清晰，与背景区别也较为明显，因此可使用较为简单卷积网络进行分类；其次摄食状态序列数据实现了对鱼群摄食状态的量化，量化参数简单有效，也可使用简单的循环神经网络进行分类。本发明在保证较高识别精度的同时又降低对计算机资源的需求，有利于在实际生产环境中推广。
附图说明
图1为本发明的检测结构示意图；
图2为本发明中深度相机的检测参数示意图；
图3为本发明中的深度伪彩色图；
图4为本发明中的简单卷积神经网络模型图；
图5为本发明中的门控循环单元网络模型图。
具体实施方式
下面结合附图中的具体实施例对本发明做进一步的说明。
实施例1
参阅图1～4，一种鱼类摄食状态检测方法，包括：
通过深度相机采集鱼群一次完整摄食过程的深度图像，如图1所示；
根据深度变化将深度图像转换成深度伪彩色图，如图3所示；
将深度伪彩色图按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建简单卷积神经网络模型，如图4所示，使用标注好的深度伪彩色图训练简单卷积神经网络模型得到第一检测模型；
使用第一检测模型进行实际检测鱼类摄食状态。
在本实施例中，深度相机的型号为Azure KinectDK，如图1所示，深度相机1通过红外光源发射器2向养育池内连续发射经过调制的红外光脉冲，光照射到摄食鱼群表面，经过反射进入到深度相机1。由于鱼群摄食时不同位置至红外传感器的平面距离不同，进而反射光在空间的飞行距离不同，因此在接收端获得了发射脉冲和接收脉冲的相位差，通过深度相机的内部数字信号处理器处理相位差矩阵，重建出一幅分辨率为640*576 的深度图，深度图像素点代表物体的深度值，反映在视角范围内鱼群的轮廓特征。
在本实施例中，检测的是鲤鱼，其摄食习性为上浮水面摄食饵料，将AzureKinectDK深度相机放置于养育池正上方中心并向下俯拍，如图2所示。Azure KinectDK深度相机的有效测量范围为0.5～3.58m，超出此范围会引起较大误差，因此调节深度相机与养育池的水面距离为0.5m，使得深度相机的视野范围覆盖整个养育池水面。鲤鱼摄食区域为距离水面深度0.08m的区域，这个区域鱼群摄食较为明显，因此设置深度相机有效测量范围为0.48～0.58m，使得深度相机仅聚集在鱼群摄食区域进行拍摄，排除了其他未进入摄食区域鱼的干扰，进一步提高鱼群摄食强度分类的精度。鱼群摄食强度如表1所示。
摄食行为级别 鱼群行为 数据集类别
强 鱼群上浮水面主动摄食且运动范围大、鱼群面积分布大 摄食状态
中 鱼群中部分鱼上浮水面开始摄食运动范围小 摄食状态
弱 鱼群中少量鱼上浮水面并只对附近饵料有反应 摄食状态
无 鱼群对饵料无反应、潜在水下 非摄食状态
表1
使用不同的颜色表示不同的深度，将深度图像中鱼群的距离信息线性转换为HSV颜色模型的Hue值，再将HSV模型的颜色数值转换成对应的RGB彩色值得到深度伪彩色图，计算Hue值的公式如下：
Hue＝γ×[1-(Z(x，y)-Z0)/Z1-Z0] (1)
式(1)中的Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，其取值范围为所述深度相机设置的有效测量范围，[Z0，Z1] 为深度相机设置的有效测量范围的下限和上限取值即取值范围是500～580，Z0、 Z1分别为500与580，γ为取值为0.67的衰减因子，鱼在水面500～580mm的深度变化时，对应的色调Hue的值取值范围是0～0.67。再采用C#开发平台的 ColorConvertHSVtoRGB(H，S，V，R，G，B)方法将HSV颜色模型转换为RGB模型，其中H等于公式(1)的Hue的值，S、V的值为1，转换后的R，G，B的值乘上255即为实际的RGB颜色值，进而得到基于距离信息的伪彩色图，通过伪彩色图可提高对鱼群摄食状态的判断准确度。
在本实施例中，简单卷积神经网络模型依次包括维度为3的输入层、3个隐藏层、一个1个全局池化层、一个4分类的输出层；所述深度伪彩色图输入所述输入层，3个隐藏层均使用大小为5×5、步长为1的二维卷积核，3个隐藏层的激活函数均采用Relu激活函数，3个隐藏层的卷积核个数分别为32、64、128，每个卷积层后面均使用步长为2×2的平均池化层进行下采样处理，并使用丢弃率为0.2的Dropout层来防止网络过拟合；最后使用一个使用1个全局池化层 (Global Average Pooling，GAP)来降低计算参数，并连接一个4分类的输出层，其中输出层使用Softmax分类函数预测类别概率。
输出层还使用基于交叉熵损失函数优化训练，公式如下：
Figure BDA0003555515240000071
Figure BDA0003555515240000072
式(2)中的Pi为类别i的最终预测概率，zi为分类模型对类别为i的原始预算输出；zj为分类模型对类别为j的原始预算输出，C为类别总数，式(3)中的L为交叉熵损失函数，yi为类别i对应的标签。
实施例2
进一步的，在实施例的基础上，实施例2还包括：
对相邻两帧深度图像的像素总和值求差值，将差值作为表征鱼群的摄食强度量化指标E(k)，
Figure BDA0003555515240000081
Figure BDA0003555515240000082
Figure BDA0003555515240000083
其中，f(k)的表示第k幅深度图像的目标像素点总和值，Z(x，y)表示深度图中坐标为X，y处的深度值(以mm为单位)，即目标到深度相机的垂直距离值，深度图像的像素为M*N，由于深度图像素为640*576，所以x和y的取值分别为 0～640和0～576，即M＝640，N＝576，Z0、Z1分别为500与580；公式(6)表示当像素点的深度值在为500～580mm范围时(此区域为鱼群摄食区域)，此像素点的值设为1，用灰度值255(白色)表示；超出此范围的像素点，用灰度值 0(黑色)表示。
由式(5)可知鱼群在水面左右或水体不同深度上下交替游动越激烈，其鱼群目标像素总和的差值E(k)越大，说明鱼群摄食强度越高，反之亦然。因此E(k) 可作为量化鱼摄食强度的量化数据指标。
以J个连续的E(k)数据为一组，将所有摄食强度量化指标E(k)划分为若干组时间序列；在喂食状态下，视频采集时间为6～8分钟，可获得1800～2400 个E(k)个数据，根据鱼群摄食状态时间长度，取35个E(k)个数据作为一个时间序列，即J＝35，通过每一次的投喂活动获得10～20组反映鱼群摄食状态的序列数据。
将时间序列按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建门控循环单元网络模型，如图5所示，使用标注好的时间序列训练门控循环单元网络模型得到第二检测模型；
使用准确率Accuracy、精确率Precision、召回率Recall、特效度 Specificity、F1得分来评价第一检测模型、第二检测模型；若第一检测模型的 F1得分高于第二检测模型的F1得分，则使用第一检测模型进行实际检测鱼类摄食状态；否则，使用第二检测模型进行实际检测鱼类摄食状态；
Accuracy＝(TP+TN)/(TP+TN+FP+FN) (7)
Precision＝TP/(TP+FP) (8)
Specificity＝TN/(TN+FP) (9)
Recall＝TP/(TP+FN) (10)
F1＝2*Precision*Recall/(Precision+Recall) (11)
式中，TP：真实值为正且预测也为正的样本数量；FP：真实值为负但预测为正的样本数量；FN：真实值为正但预测为负的样本数量；TN：真实值为负且预测也为负的样本数量。
门控循环单元网络模型依次包括维度为32的嵌入层、2个隐藏层、卷积核个数为10的全连接层、4分类的输出层，2个隐藏层分别使用32个和16个门控循环单元作为特征提取单元，使用丢弃率为0.2的Dropout层来防止网络过拟合，输出层使用Softmax分类函数预测类别概率，并使基于交叉熵损失函数优化训练。
本发明使用深度相机与图像处理程序相结合可实时获得鱼群摄食状态深度图和摄食状态序列数据，由于鱼群摄食状态深度图的轮廓较为清晰，与背景区别也较为明显，因此可使用较为简单卷积网络进行分类；其次摄食状态序列数据实现了对鱼群摄食状态的量化，量化参数简单有效，也可使用简单的循环神经网络进行分类。本发明在保证较高识别精度的同时又降低对计算机资源的需求，有利于在实际生产环境中推广。
以上仅是本发明的优选实施方式，应当指出对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些都不会影响本发明实施的效果和专利的实用性。

Claims (7)

1.一种鱼类摄食状态检测方法，其特征在于，包括：
通过深度相机采集鱼群一次完整摄食过程的深度图像；
根据深度变化将所述深度图像转换成深度伪彩色图；
将所述深度伪彩色图按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建简单卷积神经网络模型，使用标注好的深度伪彩色图训练所述简单卷积神经网络模型得到第一检测模型；
使用所述第一检测模型进行实际检测鱼类摄食状态。
2.根据权利要求1所述的一种鱼类摄食状态检测方法，其特征在于，使用不同的颜色表示不同的深度，将所述深度图像中鱼群的距离信息线性转换为HSV颜色模型的Hue值，再将HSV模型的颜色数值转换成对应的RGB彩色值得到深度伪彩色图，计算Hue值的公式如下：
Hue＝γ×[1-(Z(x，y)-Z0)/Z1-Z0] (1)
式(1)中的Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，其取值范围为所述深度相机设置的有效测量范围，[Z0，Z1]为所述深度相机设置的有效测量范围的下限和上限取值，γ为取值为0.67的衰减因子。
3.根据权利要求1所述的一种鱼类摄食状态检测方法，其特征在于，所述简单卷积神经网络模型依次包括维度为3的输入层、3个隐藏层、一个1个全局池化层、一个4分类的输出层；所述深度伪彩色图输入所述输入层，3个隐藏层均使用大小为5×5、步长为1的二维卷积核，3个隐藏层的激活函数均采用Relu激活函数，3个隐藏层的卷积核个数分别为32、64、128，每个卷积层后面均使用步长为2×2的平均池化层进行下采样处理，并使用丢弃率为0.2的Dropout层来防止网络过拟合；最后使用一个使用1个全局池化层来降低计算参数，并连接一个4分类的输出层，其中输出层使用Softmax分类函数预测类别概率。
4.根据权利要求3所述的一种鱼类摄食状态检测方法，其特征在于，所述输出层还使用基于交叉熵损失函数优化训练，公式如下：
Figure FDA0003555515230000021
Figure FDA0003555515230000022
式(2)中的Pi为类别i的最终预测概率，zi为分类模型对类别为i的原始预算输出；zj为分类模型对类别为j的原始预算输出，C为类别总数，式(3)中的L为交叉熵损失函数，yi为类别i对应的标签。
5.根据权利要求1所述的一种鱼类摄食状态检测方法，其特征在于，所述深度相机的型号为Azure Kinect DK。
6.根据权利要求1-5任意一项所述的一种鱼类摄食状态检测方法，其特征在于，还包括：
对相邻两帧深度图像的像素总和值求差值，将差值作为表征鱼群的摄食强度量化指标E(k)，
Figure FDA0003555515230000023
Figure FDA0003555515230000024
Figure FDA0003555515230000025
其中，f(k)的表示第k幅深度图像的目标像素点总和值，Z(x，y)表示深度图中坐标为x，y处的深度值，即目标到深度相机的垂直距离值，深度图像的像素为M*N；
以J个连续的E(k)数据为一组，将所有摄食强度量化指标E(k)划分为若干组时间序列；
将所述时间序列按强摄食、中等强度摄食、弱摄食、未摄食进行标注；
构建门控循环单元网络模型，使用标注好的时间序列训练所述门控循环单元网络模型得到第二检测模型；
使用准确率Accuracy、精确率Precision、召回率Recall、特效度Specificity、F1得分来评价所述第一检测模型、第二检测模型；若所述第一检测模型的F1得分高于所述第二检测模型的F1得分，则使用所述第一检测模型进行实际检测鱼类摄食状态；否则，使用所述第二检测模型进行实际检测鱼类摄食状态；
Accuracy＝(TP+TN)/(TP+TN+FP+FN) (7)
Precision＝TP/(TP+FP) (8)
Specificity＝TN/(TN+FP) (9)
Recall＝TP/(TP+FN) (10)
F1＝2*Precision*Recall/(Precision+Recall) (11)
式中，TP：真实值为正且预测也为正的样本数量；FP：真实值为负但预测为正的样本数量；FN：真实值为正但预测为负的样本数量；TN：真实值为负且预测也为负的样本数量。
7.根据权利要求6所述的一种鱼类摄食状态检测方法，其特征在于，所述门控循环单元网络模型依次包括维度为32的嵌入层、2个隐藏层、卷积核个数为10的全连接层、4分类的输出层，2个隐藏层分别使用32个和16个门控循环单元作为特征提取单元使用丢弃率为0.2的Dropout层来防止网络过拟合，输出层使用Softmax分类函数预测类别概率，并使基于交叉熵损失函数优化训练。
CN202210275358.XA 2022-03-21 2022-03-21 一种鱼类摄食状态检测方法 Pending CN114612454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210275358.XA CN114612454A (zh) 2022-03-21 2022-03-21 一种鱼类摄食状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210275358.XA CN114612454A (zh) 2022-03-21 2022-03-21 一种鱼类摄食状态检测方法

Publications (1)

Publication Number Publication Date
CN114612454A true CN114612454A (zh) 2022-06-10

Family

ID=81864285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210275358.XA Pending CN114612454A (zh) 2022-03-21 2022-03-21 一种鱼类摄食状态检测方法

Country Status (1)

Country Link
CN (1) CN114612454A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578678A (zh) * 2022-11-08 2023-01-06 中国农业大学 一种鱼类摄食强度分类方法及系统
CN115690570A (zh) * 2023-01-05 2023-02-03 中国水产科学研究院黄海水产研究所 一种基于st-gcn的鱼群摄食强度预测方法
CN115775369A (zh) * 2022-12-15 2023-03-10 集美大学 基于双流残差卷积神经网络的鱼类摄食强度评估方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105139407A (zh) * 2015-09-08 2015-12-09 江苏大学 一种基于Kinect传感器的颜色深度匹配植株识别方法
WO2016080011A1 (ja) * 2014-11-19 2016-05-26 リンク・アイティ株式会社 デジタル画像の色属性表示装置、方法及びプログラム並びに画像処理装置
CN107292333A (zh) * 2017-06-05 2017-10-24 浙江工业大学 一种基于深度学习的快速图像分类方法
CN109191495A (zh) * 2018-07-17 2019-01-11 东南大学 基于自组织背景差模型和多特征融合的黑烟车检测方法
CN109543679A (zh) * 2018-11-16 2019-03-29 南京师范大学 一种基于深度卷积神经网络的死鱼识别方法及预警系统
CN109886905A (zh) * 2019-01-25 2019-06-14 江苏大学 一种基于Kinect传感器的颜色深度融合的导航线提取识别方法
CN110926737A (zh) * 2019-11-28 2020-03-27 上海大学 一种基于深度图像的筛板故障智能监测方法
CN111240200A (zh) * 2020-01-16 2020-06-05 北京农业信息技术研究中心 鱼群投饵控制方法、鱼群投饵控制装置及投饵船
CN111382726A (zh) * 2020-04-01 2020-07-07 浙江大华技术股份有限公司 工程作业检测方法以及相关装置
CN112381044A (zh) * 2020-11-27 2021-02-19 中国农业大学 一种鱼类摄食状态的检测方法及装置
CN112800994A (zh) * 2021-02-03 2021-05-14 中国农业大学 鱼群摄食行为识别方法、装置、电子设备和存储介质
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、系统、存储介质、设备及终端
CN112883861A (zh) * 2021-02-07 2021-06-01 同济大学 一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法
CN113668201A (zh) * 2020-04-30 2021-11-19 云米互联科技(广东)有限公司 循环扇控制方法、循环扇、循环扇控制系统及存储介质
CN113808262A (zh) * 2021-10-08 2021-12-17 合肥安达创展科技股份有限公司 一种基于深度图分析的建筑模型生成系统
CN113837104A (zh) * 2021-09-26 2021-12-24 大连智慧渔业科技有限公司 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质
CN114155262A (zh) * 2021-11-29 2022-03-08 合肥安达创展科技股份有限公司 一种基于opencv相关算法的体感深度图获取系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080011A1 (ja) * 2014-11-19 2016-05-26 リンク・アイティ株式会社 デジタル画像の色属性表示装置、方法及びプログラム並びに画像処理装置
CN105139407A (zh) * 2015-09-08 2015-12-09 江苏大学 一种基于Kinect传感器的颜色深度匹配植株识别方法
CN107292333A (zh) * 2017-06-05 2017-10-24 浙江工业大学 一种基于深度学习的快速图像分类方法
CN109191495A (zh) * 2018-07-17 2019-01-11 东南大学 基于自组织背景差模型和多特征融合的黑烟车检测方法
CN109543679A (zh) * 2018-11-16 2019-03-29 南京师范大学 一种基于深度卷积神经网络的死鱼识别方法及预警系统
CN109886905A (zh) * 2019-01-25 2019-06-14 江苏大学 一种基于Kinect传感器的颜色深度融合的导航线提取识别方法
CN110926737A (zh) * 2019-11-28 2020-03-27 上海大学 一种基于深度图像的筛板故障智能监测方法
CN111240200A (zh) * 2020-01-16 2020-06-05 北京农业信息技术研究中心 鱼群投饵控制方法、鱼群投饵控制装置及投饵船
CN111382726A (zh) * 2020-04-01 2020-07-07 浙江大华技术股份有限公司 工程作业检测方法以及相关装置
CN113668201A (zh) * 2020-04-30 2021-11-19 云米互联科技(广东)有限公司 循环扇控制方法、循环扇、循环扇控制系统及存储介质
CN112381044A (zh) * 2020-11-27 2021-02-19 中国农业大学 一种鱼类摄食状态的检测方法及装置
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、系统、存储介质、设备及终端
CN112800994A (zh) * 2021-02-03 2021-05-14 中国农业大学 鱼群摄食行为识别方法、装置、电子设备和存储介质
CN112883861A (zh) * 2021-02-07 2021-06-01 同济大学 一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法
CN113837104A (zh) * 2021-09-26 2021-12-24 大连智慧渔业科技有限公司 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质
CN113808262A (zh) * 2021-10-08 2021-12-17 合肥安达创展科技股份有限公司 一种基于深度图分析的建筑模型生成系统
CN114155262A (zh) * 2021-11-29 2022-03-08 合肥安达创展科技股份有限公司 一种基于opencv相关算法的体感深度图获取系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙君顶, 崔江涛, 毋小省, 周利华: "基于颜色和形状特征的彩色图像检索方法", 中国图象图形学报, no. 07, 25 July 2004 (2004-07-25) *
孙和利;赵彬如;于伟宣;: "基于HSV色彩空间的遥感图像快速云检测", 地理空间信息, no. 08, 21 August 2020 (2020-08-21) *
张佳林;徐立鸿;刘世晶;: "基于水下机器视觉的大西洋鲑摄食行为分类", 农业工程学报, no. 13, 8 July 2020 (2020-07-08) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578678A (zh) * 2022-11-08 2023-01-06 中国农业大学 一种鱼类摄食强度分类方法及系统
CN115775369A (zh) * 2022-12-15 2023-03-10 集美大学 基于双流残差卷积神经网络的鱼类摄食强度评估方法
CN115690570A (zh) * 2023-01-05 2023-02-03 中国水产科学研究院黄海水产研究所 一种基于st-gcn的鱼群摄食强度预测方法

Similar Documents

Publication Publication Date Title
Li et al. Recent advances of deep learning algorithms for aquacultural machine vision systems with emphasis on fish
Li et al. Automatic counting methods in aquaculture: A review
CN114612454A (zh) 一种鱼类摄食状态检测方法
Zhao et al. CRAS-YOLO: A novel multi-category vessel detection and classification model based on YOLOv5s algorithm
Liu et al. A quantitative detection algorithm based on improved faster R-CNN for marine benthos
Liu et al. Remote sensing image change detection based on information transmission and attention mechanism
CN112883861B (zh) 一种基于鱼群摄食状态细粒度分类的反馈式投饵控制方法
CN111406693A (zh) 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法
WO2019245722A1 (en) Sea lice detection and classification in an aquaculture environment
CN113592896B (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
CN108520511A (zh) 一种基于鱼探仪的水下鱼类目标探测与识别方法
Li et al. Cow individual identification based on convolutional neural network
Zhang et al. YoloXT: a object detection algorithm for marine benthos
Wang et al. IDUDL: Incremental double unsupervised deep learning model for marine aquaculture SAR images segmentation
Cao et al. Automatic coarse-to-fine joint detection and segmentation of underwater non-structural live crabs for precise feeding
Yu et al. An automatic detection and counting method for fish lateral line scales of underwater fish based on improved YOLOv5
CN108764465A (zh) 一种进行神经网络运算的处理装置
CN112949380B (zh) 一种基于激光雷达点云数据的智能水下目标识别系统
Sun et al. Prediction model for the number of crucian carp hypoxia based on the fusion of fish behavior and water environment factors
Wang et al. A literature review of underwater image detection
Feng et al. Fry counting models based on attention mechanism and YOLOv4-tiny
Deng et al. DETECTION OF BEHAVIOUR AND POSTURE OF SHEEP BASED ON YOLOv3.
CN118072206B (zh) 基于鲸类栖息地选择模型的无人机遥感图像目标识别方法
Lv et al. Methods studies for attached marine organisms detecting based on convolutional neural network
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination