CN118072393A - 一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法 - Google Patents

一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法 Download PDF

Info

Publication number
CN118072393A
CN118072393A CN202410225812.XA CN202410225812A CN118072393A CN 118072393 A CN118072393 A CN 118072393A CN 202410225812 A CN202410225812 A CN 202410225812A CN 118072393 A CN118072393 A CN 118072393A
Authority
CN
China
Prior art keywords
ammonia nitrogen
model
nitrogen stress
red
modules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410225812.XA
Other languages
English (en)
Inventor
聂鹏程
钱程
李雪寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202410225812.XA priority Critical patent/CN118072393A/zh
Publication of CN118072393A publication Critical patent/CN118072393A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法。方法包括：采集赤点石斑鱼在养殖过程中的行为视频并提取视频帧，将视频帧进行图像标注后划分训练集和验证集；构建目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型，将训练集和验证集输入模型中进行训练优化，获得训练完成的模型；部署到嵌入式设备上，实时采集视频帧并输入模型中处理，输出赤点石斑鱼的氨氮应激行为识别结果。本发明方法的模型可以很容易地部署到嵌入式设备上并安装到赤点石斑鱼工厂化养殖现场，不需要太多的劳动力和成本就能满足全天候检测赤点石斑鱼氨应激行为的要求，减少养殖过程中赤点石斑鱼氨氮应激风险。

Description

一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法
技术领域
本发明涉及了一种石斑鱼氨氮应激行为识别方法，具体涉及一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法。
背景技术
目前识别赤点石斑鱼氨氮应激行为的识别方式主要有两种，一是人工巡检，养殖人员通过肉眼评估鱼类的行为或手动从水产养殖环境中抽取水样，然后用专业设备分析氨氮浓度。这种方法不仅要求养殖人员有丰富的养殖经验，同时对巡检的实时性提出很高要求。另一种是基于氨氮传感器构建养殖水质感知系统，利用传感器构建物联网网络，监测养殖水体中氨氮浓度的变化并设置阈值，当养殖水体中氨氮浓度超过阈值时进行报警；该方法虽然精度高、人力消耗少，但由于传感器在海水中极高的腐蚀和损坏风险，以及大规模使用高精度氨氮传感器带来的高昂的使用成本，限制了该方法的应用。目前绝大多数高精度氨氮传感器依赖进口且在海水中的使用寿命短，因此基于氨氮传感器的表征方式整体实施成本高、难以大规模推广。
发明内容
为了解决背景技术中存在的问题，本发明所提供一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法。方法中构建了一种可在算力有限嵌入式设备上直接运行的赤点石斑鱼多目标追踪模型。
本发明采用的技术方案是：
本发明的基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法，包括：
1)采集赤点石斑鱼在养殖过程中的行为视频并提取若干视频帧，将各个视频帧进行图像标注后按照预设比例划分为训练集和验证集。
2)构建目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型，将训练集和验证集输入目标检测模型YOLOv5_GA中进行训练优化，将目标检测模型YOLOv5_GA在训练优化过程中输出的检测结果输入改进目标追踪模型LD_Ocsort中进行训练优化，将目标检测模型YOLOv5_GA在训练优化过程中输出的赤点石斑鱼的躯体失衡总数量以及改进目标追踪模型LD_Ocsort在训练优化过程中输出的赤点石斑鱼的位移特征共同输入至氨氮应激行为分类模型中进行训练优化，当各个模型各自的总损失收敛时停止训练，最终获得训练完成的目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型。
3)将训练完成的目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型部署到赤点石斑鱼养殖现场的嵌入式设备上，以达到轻量化、精确化、全天候自动评估赤点石斑鱼氨氮应激行为的目的；通过嵌入式设备实时采集赤点石斑鱼养殖过程中的视频帧并输入至嵌入式设备中的训练完成的目标检测模型YOLOv5_GA中进行处理，处理后输出赤点石斑鱼的检测结果和躯体失衡总数量，将赤点石斑鱼的检测结果输入至训练完成的改进目标追踪模型LD_Ocsort中进行处理，处理后输出赤点石斑鱼的位移特征，将赤点石斑鱼的躯体失衡总数量和位移特征共同作为赤点石斑鱼的氨氮应激行为表征并输入训练完成的氨氮应激行为分类模型中进行处理，处理后输出赤点石斑鱼的氨氮应激行为识别结果，实现赤点石斑鱼的氨氮应激行为识别。
所述的步骤1)中，赤点石斑鱼在养殖过程中的行为视频包括正常水质环境下和氨氮胁迫环境下的行为视频，提取出行为视频中的若干视频帧后，针对每张视频帧，将视频帧上的每条赤点石斑鱼通过矩形框进行位置标注，并将在正常水质环境下的视频帧中的每条赤点石斑鱼的行为类别标注为非失衡状态，将在氨氮胁迫环境下的视频帧中的每条赤点石斑鱼的行为类别标注为失衡状态。
所述的步骤2)中，目标检测模型YOLOv5_GA包括依次连接的改进骨干网络Ghostbackone、改进渐进特征金字塔网络AFPNeck(Asymptotic Feature PyramidNetwork)和检测头(Detection Head)部分，改进骨干网络Ghostbackone包括依次连接的卷积模块CBS、四个特征提取Ghost模块组和快速空间金字塔池化模块SPPF(Spatial PyramidPooling-Fast)；改进渐进特征金字塔网络AFPNeck包括三个特征提取GhostV2算子、两个自适应空间特征融合ASFF_2(Adaptively Spatial Feature Fusion_2)模块、两个特征提取G3GhostV2模块和三个自适应空间特征融合ASFF_3(Adaptively Spatial FeatureFusion_3)模块，第二个特征提取Ghost模块组、第三个特征提取Ghost模块组和快速空间金字塔池化模块SPPF的输出分别输入至三个特征提取GhostV2算子中，第一个特征提取GhostV2算子处理的输出分别输入至两个自适应空间特征融合ASFF_2模块中，第二个特征提取GhostV2算子处理的输出分别输入至两个自适应空间特征融合ASFF_2模块中，两个自适应空间特征融合ASFF_2模块的输出分别输入至两个特征提取G3GhostV2模块中，第一个特征提取G3GhostV2模块的输出分别输入至三个自适应空间特征融合ASFF_3模块中，第二个特征提取G3GhostV2模块的输出分别输入至三个自适应空间特征融合ASFF_3模块中，第三个特征提取GhostV2算子的输出分别输入至三个自适应空间特征融合ASFF_3模块中；检测头部分包括三个卷积层，三个自适应空间特征融合ASFF_3模块的输出分别输入至三个卷积层中处理并叠加后输出作为目标检测模型YOLOv5_GA的输出。
卷积模块CBS(Conv2dBNSiLU)包括依次连接的卷积层Conv2d、批归一化层BN(Batch Normalization)和激活函数SiLU(Sigmoid Linear Unit)。
目标检测模型YOLOv5_GA基于YOLOv5模型引入GhostV2算子，提出新的C3Ghost特征提取模块，减少检测模型中的参数和计算量。构建了渐进式特征融合方式，实现多尺度融合并增强特征融合效果。
所述的特征提取Ghost模块组包括依次连接的特征提取GhostV2算子和特征提取G3GhostV2模块。
所述的特征提取G3GhostV2模块包括三个卷积模块CBS、骨干网络GhostV2backone和融合函数Concat，G3GhostV2模块的输入分别输入至第一和第二个卷积模块CBS中，第一个卷积模块CBS处理后的输出再输入至骨干网络GhostV2backone中处理，二个卷积模块CBS和骨干网络GhostV2backone的输出共同输入至融合函数Concat中，融合函数Concat处理后的输出输入至第三个卷积模块CBS中处理后输出作为G3GhostV2模块的输出。
所述的步骤2)中，改进目标追踪模型LD_Ocsort具体为在原始的目标追踪模型LD_Ocsort的OCM(Observation-Centric Momentum)匹配前添加重识别FishReID(Fish Re-ID)网络对输入的检测框进行外观特征提取处理，从而构建改进目标追踪模型LD_Ocsort；重识别FishReID网络包括依次连接的第一3×3卷积层Con2d、第一骨干网络Ghostbackone1、第二骨干网络Ghostbackone2、三个注意力骨干组、第二1×1卷积层Con2d、8×8平均池化层AvgPool和第三1×1卷积层Con2d；注意力骨干组包括依次连接的注意力机制CBAM(Convolutional Block Attention Module)、第一骨干网络Ghostbackone1和第二骨干网络Ghostbackone2。
所述的步骤2)中，氨氮应激行为分类模型具体为支持向量机SVM(Support VectorMachine)分类模型。
根据氨氮胁迫实验提出能明显表征赤点石斑鱼氨氮应激行为的特征，结合所提出的目标检测模型YOLOv5_GA与改进的目标追踪模型LD_Ocsort提取赤点石斑鱼位移和躯体失衡赤点石斑鱼数量特征，利用上述两种特征基于SVM分类模型构建。
本发明首先构建轻量化赤点石斑鱼目标检测模型YOLOv5_GA并训练优化，完成对视频帧赤点石斑鱼位置检测同时能检测出躯体失衡赤点石斑鱼。其次构建轻量化赤点石斑鱼目标追踪模型LD_Ocsort并训练优化，完成对视频帧中赤点石斑鱼轨迹追踪。然后，利用YOLOv5_GA检测模型与LD_Ocsort跟踪模型结合提取赤点石斑鱼的位移特征和躯体失衡总数量来表征赤点石斑鱼行为，再构建基于SVM分类模型的赤点石斑鱼氨氮应激行为分类模型，最后将氨氮应激行为识别方法部署到嵌入式设备上。
本发明的有益效果是：
相较于传统识别方法存在劳动强度大、检测速度慢、部署成本高等问题，本发明通过直接表征赤点石斑鱼氨氮应激行为，创造性的提出了一种基于目标检测提取和轨迹的轻量化氨氮应激行为识别方法，该方法可以很容易地部署到嵌入式设备上并安装到赤点石斑鱼工厂化养殖现场，不需要太多的劳动力和成本就能满足全天候检测赤点石斑鱼氨应激行为的要求，减少养殖过程中赤点石斑鱼氨氮应激风险。
附图说明
图1为本发明整体流程图；
图2为本发明构建的目标检测模型YOLOv5_GA示意图；
图3为本发明构建的重识别FishReID外观特征提取网络示意图；
图4为本发明构建的目标追踪模型LD_OCSORT示意图；
图5为本发明提出的氨氮应激行为识别方法对于赤点石斑鱼氨氮应激行为的识别效果图；
图6为本发明方法部署到赤点石斑鱼养殖现场图像获取及处理方式示意图；
图7为本发明方法赤点石斑鱼检测和追踪结果示意图；其中，图7的(a)为正常水质环境下赤点石斑鱼检测结果图，图7的(b)为氨氮胁迫环境下赤点石斑鱼检测结果图，图7的(c)为正常水质环境下赤点石斑鱼追踪结果图，图7的(d)为氨氮胁迫环境下赤点石斑鱼追踪结果。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
如图1所示，本发明的基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法，包括：
1)采集赤点石斑鱼在养殖过程中的行为视频并提取若干视频帧，将各个视频帧进行图像标注后按照预设比例划分为训练集和验证集；具体实施时，按照6:2:2的比例划分训练集、验证集和测试集进行训练和验证。
步骤1)中，赤点石斑鱼在养殖过程中的行为视频包括正常水质环境下和氨氮胁迫环境下的行为视频，提取出行为视频中的若干视频帧后，针对每张视频帧，将视频帧上的每条赤点石斑鱼通过矩形框进行位置标注，并将在正常水质环境下的视频帧中的每条赤点石斑鱼的行为类别标注为非失衡状态，将在氨氮胁迫环境下的视频帧中的每条赤点石斑鱼的行为类别标注为失衡状态。
2)构建目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型，将训练集和验证集输入目标检测模型YOLOv5_GA中进行训练优化，将目标检测模型YOLOv5_GA在训练优化过程中输出的检测结果输入改进目标追踪模型LD_Ocsort中进行训练优化，将目标检测模型YOLOv5_GA在训练优化过程中输出的赤点石斑鱼的躯体失衡总数量以及改进目标追踪模型LD_Ocsort在训练优化过程中输出的赤点石斑鱼的位移特征共同输入至氨氮应激行为分类模型中进行训练优化，当各个模型各自的总损失收敛时停止训练，最终获得训练完成的目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型。
如图2所示，步骤2)中，目标检测模型YOLOv5_GA包括依次连接的改进骨干网络Ghostbackone、改进渐进特征金字塔网络AFPNeck和检测头部分，改进骨干网络Ghostbackone包括依次连接的卷积模块CBS、四个特征提取Ghost模块组和快速空间金字塔池化模块SPPF；改进渐进特征金字塔网络AFPNeck包括三个特征提取GhostV2算子、两个自适应空间特征融合ASFF_2模块、两个特征提取G3GhostV2模块和三个自适应空间特征融合ASFF_3模块，第二个特征提取Ghost模块组、第三个特征提取Ghost模块组和快速空间金字塔池化模块SPPF的输出分别输入至三个特征提取GhostV2算子中，第一个特征提取GhostV2算子处理的输出分别输入至两个自适应空间特征融合ASFF_2模块中，第二个特征提取GhostV2算子处理的输出分别输入至两个自适应空间特征融合ASFF_2模块中，两个自适应空间特征融合ASFF_2模块的输出分别输入至两个特征提取G3GhostV2模块中，第一个特征提取G3GhostV2模块的输出分别输入至三个自适应空间特征融合ASFF_3模块中，第二个特征提取G3GhostV2模块的输出分别输入至三个自适应空间特征融合ASFF_3模块中，第三个特征提取GhostV2算子的输出分别输入至三个自适应空间特征融合ASFF_3模块中；检测头部分包括三个卷积层，三个自适应空间特征融合ASFF_3模块的输出分别输入至三个卷积层中处理并叠加后输出作为目标检测模型YOLOv5_GA的输出。
卷积模块CBS包括依次连接的卷积层Conv2d、批归一化层BN和激活函数SiLU。
目标检测模型YOLOv5_GA基于YOLOv5模型引入GhostV2算子，提出新的C3Ghost特征提取模块，减少检测模型中的参数和计算量。构建了渐进式特征融合方式，实现多尺度融合并增强特征融合效果。
具体实施时，对改进的YOLOv5_GA进行训练，将8000张图像按照6:2:2划分训练集、验证集和测试集，训练阶段的动量设为0.937，初始学习率设为0.01，batchsize为16，输入图像尺寸为640×640，采用随机梯度下降SGD优化器进行训练，检测模型总损失收敛时停止训练。
特征提取Ghost模块组包括依次连接的特征提取GhostV2算子和特征提取G3GhostV2模块。特征提取G3GhostV2模块包括三个卷积模块CBS、骨干网络GhostV2backone和融合函数Concat，G3GhostV2模块的输入分别输入至第一和第二个卷积模块CBS中，第一个卷积模块CBS处理后的输出再输入至骨干网络GhostV2backone中处理，二个卷积模块CBS和骨干网络GhostV2backone的输出共同输入至融合函数Concat中，融合函数Concat处理后的输出输入至第三个卷积模块CBS中处理后输出作为G3GhostV2模块的输出。
步骤2)中，改进目标追踪模型LD_Ocsort具体为在原始的目标追踪模型LD_Ocsort的OCM匹配前添加重识别FishReID网络对输入的检测框进行外观特征提取处理，从而构建改进目标追踪模型LD_Ocsort。
如图3所示，重识别FishReID网络包括依次连接的第一3×3卷积层Con2d、第一骨干网络Ghostbackone1、第二骨干网络Ghostbackone2、三个注意力骨干组、第二1×1卷积层Con2d、8×8平均池化层AvgPool和第三1×1卷积层Con2d；注意力骨干组包括依次连接的注意力机制CBAM、第一骨干网络Ghostbackone1和第二骨干网络Ghostbackone2。
步骤2)中，氨氮应激行为分类模型具体为支持向量机SVM分类模型。根据氨氮胁迫实验提出能明显表征赤点石斑鱼氨氮应激行为的特征，结合所提出的目标检测模型YOLOv5_GA与改进的目标追踪模型LD_Ocsort提取赤点石斑鱼位移和躯体失衡赤点石斑鱼数量特征，利用上述两种特征基于SVM分类模型构建。
3)将训练完成的目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型部署到赤点石斑鱼养殖现场的嵌入式设备上，以达到轻量化、精确化、全天候自动评估赤点石斑鱼氨氮应激行为的目的；通过嵌入式设备实时采集赤点石斑鱼养殖过程中的视频帧并输入至嵌入式设备中的训练完成的目标检测模型YOLOv5_GA中进行处理，处理后输出赤点石斑鱼的检测结果和躯体失衡总数量，将赤点石斑鱼的检测结果输入至训练完成的改进目标追踪模型LD_Ocsort中进行处理，处理后输出赤点石斑鱼的位移特征，将赤点石斑鱼的躯体失衡总数量和位移特征共同作为赤点石斑鱼的氨氮应激行为表征并输入训练完成的氨氮应激行为分类模型中进行处理，处理后输出赤点石斑鱼的氨氮应激行为识别结果，实现赤点石斑鱼的氨氮应激行为识别。
如图4所示，LD_Ocsort追踪流程如下：首先，由目标检测模型的FishReID网络对本帧目标的检测框进行检测，同时将已连续进行3次轨迹跟踪，由暂定态转换为确定态的目标轨迹框利用卡尔曼Kalman滤波器进行预测；其次，OCM将前帧目标预测框和本帧检测框关联起来，将预测框与检测框的动量特征信息、外观相似度信息以及交并比信息融入到匹配代价矩阵中，然后利用匈牙利算法分配ID并跟踪；然后，将未匹配的预测框和未匹配检测框输入OCR，OCR在得到未匹配预测框和未匹配检测框的外观相似度代价矩阵后用匈牙利算法进行匹配。
如图5所示，为本发明提出的氨氮应激行为识别方法对于赤点石斑鱼氨氮应激行为的识别效果图。首先，将现场采集视频按7：3划分训练集、验证集；其次，将应激行为表征方法提取的赤点石斑鱼位移和躯体失衡数量两种特征输入SVM分类模型训练；最终训练集分类结果如图所示，该结果在验证集上的分准确率为92.2％，可以较为准确地检测出赤点石斑鱼群体是否处于氨氮胁迫环境中。
如图6所示，为本发明嵌入式设备图像获取及处理方式，将赤点石斑鱼氨氮应激行为识别方法部署到嵌入式设备Orin nano上，然后在养殖有赤点石斑鱼的养殖高位池正上方的通过桁架在固定位置处安装摄像头，摄像头向下朝向养殖高位池拍摄赤点石斑鱼的养殖视频，嵌入式设备会处理摄像头拍摄的赤点石斑鱼视频，进而并输出氨氮应激行为识别结果。
如图7的(a)、图7的(b)、图7的(c)和图7的(d)所示，为本发明方法在正常水质环境下和氨氮胁迫环境下的赤点石斑鱼检测和追踪解结果示意图。本发明与其他模型之间的对比结果如下表1和表2所示：
表1不同检测模型综合对比结果
表2不同追踪模型综合对比结果
由上表可知，本发明方法可以实现较为轻量化及较为准确地检测出赤点石斑鱼氨氮应激行为。

Claims (7)

1.一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法，其特征在于，包括：
1)采集赤点石斑鱼在养殖过程中的行为视频并提取若干视频帧，将各个视频帧进行图像标注后按照预设比例划分为训练集和验证集；
2)构建目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型，将训练集和验证集输入目标检测模型YOLOv5_GA中进行训练优化，将目标检测模型YOLOv5_GA在训练优化过程中输出的检测结果输入改进目标追踪模型LD_Ocsort中进行训练优化，将目标检测模型YOLOv5_GA在训练优化过程中输出的赤点石斑鱼的躯体失衡总数量以及改进目标追踪模型LD_Ocsort在训练优化过程中输出的赤点石斑鱼的位移特征共同输入至氨氮应激行为分类模型中进行训练优化，当各个模型各自的总损失收敛时停止训练，最终获得训练完成的目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型；
3)将训练完成的目标检测模型YOLOv5_GA、改进目标追踪模型LD_Ocsort和氨氮应激行为分类模型部署到赤点石斑鱼养殖现场的嵌入式设备上，通过嵌入式设备实时采集赤点石斑鱼养殖过程中的视频帧并输入至嵌入式设备中的训练完成的目标检测模型YOLOv5_GA中进行处理，处理后输出赤点石斑鱼的检测结果和躯体失衡总数量，将赤点石斑鱼的检测结果输入至训练完成的改进目标追踪模型LD_Ocsort中进行处理，处理后输出赤点石斑鱼的位移特征，将赤点石斑鱼的躯体失衡总数量和位移特征共同作为赤点石斑鱼的氨氮应激行为表征并输入训练完成的氨氮应激行为分类模型中进行处理，处理后输出赤点石斑鱼的氨氮应激行为识别结果，实现赤点石斑鱼的氨氮应激行为识别。
2.根据权利要求1所述的基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法，其特征在于：所述的步骤1)中，赤点石斑鱼在养殖过程中的行为视频包括正常水质环境下和氨氮胁迫环境下的行为视频，提取出行为视频中的若干视频帧后，针对每张视频帧，将视频帧上的每条赤点石斑鱼通过矩形框进行位置标注，并将在正常水质环境下的视频帧中的每条赤点石斑鱼的行为类别标注为非失衡状态，将在氨氮胁迫环境下的视频帧中的每条赤点石斑鱼的行为类别标注为失衡状态。
3.根据权利要求1所述的基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法，其特征在于：所述的步骤2)中，目标检测模型YOLOv5_GA包括依次连接的改进骨干网络Ghostbackone、改进渐进特征金字塔网络AFPNeck和检测头部分，改进骨干网络Ghostbackone包括依次连接的卷积模块CBS、四个特征提取Ghost模块组和快速空间金字塔池化模块SPPF；改进渐进特征金字塔网络AFPNeck包括三个特征提取GhostV2算子、两个自适应空间特征融合ASFF_2模块、两个特征提取G3GhostV2模块和三个自适应空间特征融合ASFF_3模块，第二个特征提取Ghost模块组、第三个特征提取Ghost模块组和快速空间金字塔池化模块SPPF的输出分别输入至三个特征提取GhostV2算子中，第一个特征提取GhostV2算子处理的输出分别输入至两个自适应空间特征融合ASFF_2模块中，第二个特征提取GhostV2算子处理的输出分别输入至两个自适应空间特征融合ASFF_2模块中，两个自适应空间特征融合ASFF_2模块的输出分别输入至两个特征提取G3GhostV2模块中，第一个特征提取G3GhostV2模块的输出分别输入至三个自适应空间特征融合ASFF_3模块中，第二个特征提取G3GhostV2模块的输出分别输入至三个自适应空间特征融合ASFF_3模块中，第三个特征提取GhostV2算子的输出分别输入至三个自适应空间特征融合ASFF_3模块中；检测头部分包括三个卷积层，三个自适应空间特征融合ASFF_3模块的输出分别输入至三个卷积层中处理并叠加后输出作为目标检测模型YOLOv5_GA的输出。
4.根据权利要求3所述的基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法，其特征在于：所述的特征提取Ghost模块组包括依次连接的特征提取GhostV2算子和特征提取G3GhostV2模块。
5.根据权利要求3所述的基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法，其特征在于：所述的特征提取G3GhostV2模块包括三个卷积模块CBS、骨干网络GhostV2backone和融合函数Concat，G3GhostV2模块的输入分别输入至第一和第二个卷积模块CBS中，第一个卷积模块CBS处理后的输出再输入至骨干网络GhostV2backone中处理，二个卷积模块CBS和骨干网络GhostV2backone的输出共同输入至融合函数Concat中，融合函数Concat处理后的输出输入至第三个卷积模块CBS中处理后输出作为G3GhostV2模块的输出。
6.根据权利要求1所述的基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法，其特征在于：所述的步骤2)中，改进目标追踪模型LD_Ocsort具体为在原始的目标追踪模型LD_Ocsort的OCM匹配前添加重识别FishReID网络对输入的检测框进行外观特征提取处理，从而构建改进目标追踪模型LD_Ocsort；重识别FishReID网络包括依次连接的第一卷积层Con2d、第一骨干网络Ghostbackone1、第二骨干网络Ghostbackone2、三个注意力骨干组、第二卷积层Con2d、平均池化层AvgPool和第三卷积层Con2d；注意力骨干组包括依次连接的注意力机制CBAM、第一骨干网络Ghostbackone1和第二骨干网络Ghostbackone2。
7.根据权利要求1所述的基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法，其特征在于：所述的步骤2)中，氨氮应激行为分类模型具体为支持向量机SVM分类模型。
CN202410225812.XA 2024-02-29 2024-02-29 一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法 Pending CN118072393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410225812.XA CN118072393A (zh) 2024-02-29 2024-02-29 一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410225812.XA CN118072393A (zh) 2024-02-29 2024-02-29 一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法

Publications (1)

Publication Number Publication Date
CN118072393A true CN118072393A (zh) 2024-05-24

Family

ID=91100299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410225812.XA Pending CN118072393A (zh) 2024-02-29 2024-02-29 一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法

Country Status (1)

Country Link
CN (1) CN118072393A (zh)

Similar Documents

Publication Publication Date Title
CN113705478B (zh) 一种基于改进YOLOv5的红树林单木目标检测方法
CN109543679A (zh) 一种基于深度卷积神经网络的死鱼识别方法及预警系统
CN113486865A (zh) 一种基于深度学习的输电线路悬挂异物目标检测方法
CN114387520A (zh) 一种用于机器人采摘的密集李子精准检测方法及其系统
US12039733B2 (en) Method for identifying individuals of oplegnathus punctatus based on convolutional neural network
CN108960342B (zh) 基于改进Soft-Max损失函数的图像相似度计算方法
CN111178177A (zh) 一种基于卷积神经网络的黄瓜病害识别方法
CN116034904B (zh) 基于轨道式巡检机器人的猪只健康监测系统及方法
CN114463701B (zh) 一种基于多源大数据动物养殖数据挖掘的监测预警系统
CN108932712A (zh) 一种转子绕组质量检测系统及方法
CN114882344A (zh) 基于半监督和注意力机制的少样本水下鱼体跟踪方法
CN115424247B (zh) 一种采用cbam与八度卷积改进yolov5的温室番茄识别与检测方法
CN107038410A (zh) 一种基于深度堆叠网络的杂草图像识别方法
CN113763196A (zh) 一种基于改进YOLOv3的果园产量测定系统
CN116824205A (zh) 一种基于注意力多源特征融合的食用菌杂菌检测方法
CN116295022A (zh) 一种基于深度学习多参数融合的猪只体尺测量方法
CN115526852A (zh) 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用
CN117372854A (zh) 一种大坝深水结构隐患病害实时检测方法
CN117115688A (zh) 基于深度学习的低亮度环境下死鱼识别计数系统及方法
CN118072393A (zh) 一种基于嵌入式设备的赤点石斑鱼氨氮应激行为识别方法
Tan et al. Pepper Target Recognition and Detection Based on Improved YOLO v4
CN110988803A (zh) 一种高置信度动态调整的雷达辐射源个体识别系统
CN118505670B (zh) 一种无人机与深度学习相结合的飞机蒙皮缺陷检测方法
CN118072115B (zh) 一种医学细胞检测方法及系统
CN115661668B (zh) 一种辣椒花待授粉花朵识别方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination