CN113989324A - 鱼类异常行为检测与跟踪方法、装置、电子设备、及介质 - Google Patents

鱼类异常行为检测与跟踪方法、装置、电子设备、及介质 Download PDF

Info

Publication number
CN113989324A
CN113989324A CN202111187855.6A CN202111187855A CN113989324A CN 113989324 A CN113989324 A CN 113989324A CN 202111187855 A CN202111187855 A CN 202111187855A CN 113989324 A CN113989324 A CN 113989324A
Authority
CN
China
Prior art keywords
fish
individual
abnormal behavior
behavior
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111187855.6A
Other languages
English (en)
Inventor
赵然
王贺
张松
赵世理
冯煜
李道亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202111187855.6A priority Critical patent/CN113989324A/zh
Publication of CN113989324A publication Critical patent/CN113989324A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供鱼类异常行为检测与跟踪方法，涉及循环水养殖技术领域，方法包括：获取鱼类行为视频；基于鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果；根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹。本发明通过鱼类异常行为检测模型基于鱼类行为视频获得鱼类细粒度特征图，得到具有异常行为的鱼个体的检测结果，能够保证得到的具有异常行为的鱼个体的检测结果的准确性，为后续鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹提供可靠数据，提高得到的具有异常行为的鱼个体的运动轨迹的精度，以让渔业管理者及时处理具有异常行为的鱼个体。

Description

鱼类异常行为检测与跟踪方法、装置、电子设备、及介质
技术领域
本发明涉及循环水养殖技术领域，尤其涉及一种鱼类异常行为检测与跟踪方法、装置、电子设备、介质、及计算机程序产品。
背景技术
鱼类是人类蛋白质的一个重要来源。鱼类和渔业产品在全世界的粮食安全和营养战略中发挥着关键作用。根据联合国粮食及农业组织(FAO)的统计，水产品的消费占动物蛋白的六分之一。然而，鱼类对外部环境的变化非常敏感，如水的盐度和溶解氧。与其他形式的水产养殖生产相比，水产养殖中的循环水产养殖系统(RAS)可以减少富营养化和水的依赖性，协助废物管理，促进营养物质回收，提高资源利用率，并改善水产养殖产品的产量和质量。由于RAS中的高密度养殖，细菌和寄生虫病很容易和迅速传播。所有上述因素将导致鱼类行为异常，如缺氧和游泳时翻身。缺氧是由低溶解氧引起的，通常成群出现，比较容易被发现。翻身的产生主要是由于鱼的疾病，所以这种行为往往不时地单独出现，很难被发现。一旦这些异常反应没有被及时发现，就很有可能造成鱼的大量死亡。因此，快速、准确地发现鱼类的异常行为意义重大。
但现有的鱼类行为检测与跟踪方法，一般是利用计算机视觉技术对鱼类进行识别跟踪，但是大多数只能跟踪鱼类某些固定的特征，当鱼个体的特征发生改变时，就无法继续跟踪，而鱼类的异常行为一般是突发的、且持续时间较短，利用一般的计算机视觉技术难以对具有异常行为的鱼类进行跟踪。同时，由于集约化养殖中鱼类的密度较大，一般的计算机视觉技术在识别鱼类时存在鱼类运动模糊以及鱼类相互遮挡等问题，导致难以准确检测出具有异常行为的鱼类。
发明内容
本发明提供一种鱼类异常行为检测与跟踪方法，用以解决集约化养殖中鱼类的密度较大，一般的计算机视觉技术在识别鱼类时存在鱼类运动模糊以及鱼类相互遮挡等问题，导致难以准确检测出具有异常行为的鱼类的技术问题。
本发明提供一种鱼类异常行为检测与跟踪方法，包括：
获取鱼类行为视频；
基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果；
根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹；
其中，所述鱼类异常行为检测模型基于改进型路径聚合网络训练得到，所述鱼类跟踪模块基于鱼类测试样本数据和鱼类目标样本数据训练得到。
根据本发明提供的一种鱼类异常行为检测与跟踪方法，所述鱼类异常行为检测模型包括行为视频输入层、第一处理层、增设检测层、第二处理层、以及检测结果输出层，所述基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果，包括：
将所述鱼类行为视频输入至所述鱼类异常行为检测模型的行为视频输入层；
基于所述鱼类行为视频，通过所述鱼类异常行为检测模型的第一处理层得到第一鱼类特征图；
基于所述第一鱼类特征图，通过所述鱼类异常行为检测模型的增设检测层得到鱼类细粒度特征图；
基于所述鱼类细粒度特征图，通过所述鱼类异常行为检测模型的第二处理层得到具有异常行为的鱼个体的检测结果；
通过所述鱼类异常行为检测模型的检测结果输出层输出具有异常行为的鱼个体的检测结果。
根据本发明提供的一种鱼类异常行为检测与跟踪方法，所述基于所述第一鱼类特征图，通过所述鱼类异常行为检测模型的增设检测层得到鱼类细粒度特征图，具体为：
通过所述鱼类异常行为检测模型的增设检测层对所述第一鱼类特征图进行上采样，得到第二鱼类特征图，将所述第一鱼类特征图和所述第二鱼类特征图融合，得到第三鱼类特征图，对所述第三鱼类特征图进行下采样，得到鱼类细粒度特征图。
根据本发明提供的一种鱼类异常行为检测与跟踪方法，所述根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹，包括：
根据具有异常行为的鱼个体的检测结果，确定待跟踪鱼个体；
基于所述鱼类行为视频，得到若干与待跟踪鱼个体有关的待跟踪鱼个体序列图像；
将若干所述待跟踪鱼个体序列图像输入至鱼类跟踪模型，得到待跟踪鱼个体的运动轨迹。
根据本发明提供的一种鱼类异常行为检测与跟踪方法，
所述鱼类跟踪模型包括序列图像输入层、特征提取层、特征处理层、以及轨迹输出层，所述将若干所述待跟踪鱼个体序列图像输入至所述鱼类跟踪模型，得到待跟踪鱼个体的运动轨迹，包括：
将若干所述待跟踪鱼个体序列图像输入至所述鱼类跟踪模型的序列图像输入层；
通过所述鱼类跟踪模型的特征提取层在输入的若干所述待跟踪鱼个体序列图像中分别提取与待跟踪鱼个体有关的待跟踪鱼个体特征；
通过所述鱼类跟踪模型的特征处理层对待跟踪鱼个体特征进行分层聚合处理，得到待跟踪鱼个体的运动轨迹；
通过所述鱼类跟踪模型的轨迹输出层输出待跟踪鱼个体的运动轨迹。
本发明还提供一种鱼类异常行为检测与跟踪装置，包括：
鱼类行为视频获取模块，用于获取鱼类行为视频；
鱼个体检测结果得到模块，用于基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果；
鱼个体运动轨迹得到模块，用于根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹；
其中，所述鱼类异常行为检测模型基于改进型路径聚合网络训练得到，所述鱼类跟踪模块基于鱼类测试样本数据和鱼类目标样本数据训练得到。
根据本发明提供的一种鱼类异常行为检测与跟踪装置，所述鱼个体检测结果得到模块中的鱼类异常行为检测模型包括行为视频输入层、第一处理层、增设检测层、第二处理层、以及检测结果输出层，所述鱼个体检测结果得到模块包括：
待检测数据输入模块，用于将所述鱼类行为视频输入至所述鱼类异常行为检测模型的行为视频输入层；
第一鱼类特征图得到模块，用于基于所述鱼类行为视频，利用所述鱼类异常行为检测模型的第一处理层得到第一鱼类特征图；
鱼类细粒度特征图得到模块，用于基于所述第一鱼类特征图，通过所述鱼类异常行为检测模型的增设检测层得到鱼类细粒度特征图；
鱼个体异常行为检测模块，用于基于所述鱼类细粒度特征图，通过所述鱼类异常行为检测模型的第二处理层得到具有异常行为的鱼个体的检测结果；
检测结果输出模块，用于通过所述鱼类异常行为检测模型的检测结果输出层输出具有异常行为的鱼个体的检测结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述鱼类异常行为检测与跟踪方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述鱼类异常行为检测与跟踪方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述鱼类异常行为检测与跟踪方法的步骤。
本发明提供的鱼类异常行为检测与跟踪方法，通过鱼类异常行为检测模型基于鱼类行为视频获得鱼类细粒度特征图，得到具有异常行为的鱼个体的检测结果，能够保证所得到的具有异常行为的鱼个体的检测结果的准确性，为后续鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹提供可靠数据，提高所得到的具有异常行为的鱼个体的运动轨迹的精度，以让渔业管理者及时处理具有异常行为的鱼个体，保证循环水养殖场景的健康。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的鱼类异常行为检测与跟踪方法的流程示意图之一；
图2是本发明提供的鱼类异常行为检测与跟踪方法的流程示意图之二；
图3是本发明提供的鱼类异常行为检测与跟踪装置的模块示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1和图2描述本发明的鱼类异常行为检测与跟踪方法。
一种鱼类异常行为检测与跟踪方法，如图1-2所示，所述方法包括以下步骤：
S1、获取鱼类行为视频。
具体地，本实施例选用150条养殖鱼体进行饲养，实时拍摄并收集鱼类行为视频，捕获的视频分辨率为1920×1080，帧速率为25fps。可以从鱼类行为视频的视频数据中逐帧提取鱼类序列图像，以用于后续的鱼类异常行为检测。
S2、基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果。
具体地，所述鱼类异常行为检测模型为基于改进型路径聚合网络(PANet)训练得到YOLOV5s模型，以及所述鱼类异常行为检测模型包括行为视频输入层、第一处理层、增设检测层、第二处理层、以及检测结果输出层，步骤S2包括：
S21、将所述鱼类行为视频输入至所述鱼类异常行为检测模型的行为视频输入层。
S22、基于所述鱼类行为视频，利用所述鱼类异常行为检测模型的第一处理层得到第一鱼类特征图。
S23、基于所述第一鱼类特征图，通过所述鱼类异常行为检测模型的增设检测层得到鱼类细粒度特征图。
S23具体为：通过所述鱼类异常行为检测模型的增设检测层对所述第一鱼类特征图进行上采样，得到第二鱼类特征图，将所述第一鱼类特征图和所述第二鱼类特征图融合，得到第三鱼类特征图，对所述第三鱼类特征图进行下采样，得到鱼类细粒度特征图。
S24、基于所述鱼类细粒度特征图，通过所述鱼类异常行为检测模型的第二处理层得到具有异常行为的鱼个体的检测结果。
具体地，鱼类异常行为检测模型会根据鱼类细粒度特征图，得出边界框和置信度，继而采用非极大值抑制方法来筛选出最终的预测框，以得到具有异常行为的鱼个体的检测结果。
另外，得到的具有异常行为的鱼个体的检测结果，也可以用于鱼类异常行为检测模型结合GIoU损失函数来调整模型本身的权重，以提高鱼类异常行为检测模型的泛化能力和检测精度。
S25、通过所述鱼类异常行为检测模型的检测结果输出层输出具有异常行为的鱼个体的检测结果。
步骤S2通过增设有增设检测层的鱼类异常行为检测模型先得到鱼类细粒度特征图，再得到具有异常行为的鱼个体的检测结果，粒度更细的鱼类细粒度特征图能够加强鱼类异常行为检测模型中改进型路径聚合网络的特征传递和重用，同时保留更浅的特征，有效提高所得到的具有异常行为的鱼个体的检测结果的准确性。
S3、根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹。
具体地，所述鱼类跟踪模块基于鱼类测试样本数据、鱼类目标样本数据、以及SiamRPN++网络训练得到，步骤S3包括：
S31、根据具有异常行为的鱼个体的检测结果，确定待跟踪鱼个体。
S32、基于所述鱼类行为视频，得到若干与待跟踪鱼个体有关的待跟踪鱼个体序列图像。
S33、将若干所述待跟踪鱼个体序列图像输入至鱼类跟踪模型，得到待跟踪鱼个体的运动轨迹。
具体地，所述鱼类跟踪模型包括序列图像输入层、特征提取层、特征处理层、以及轨迹输出层，S33包括：
S331、将若干所述待跟踪鱼个体序列图像输入至所述鱼类跟踪模型的序列图像输入层。
S332、通过所述鱼类跟踪模型的特征提取层在输入的若干所述待跟踪鱼个体序列图像中分别提取与待跟踪鱼个体有关的待跟踪鱼个体特征。
S333、通过所述鱼类跟踪模型的特征处理层对待跟踪鱼个体特征进行分层聚合处理，得到待跟踪鱼个体的运动轨迹；
S334、通过所述鱼类跟踪模型的轨迹输出层输出待跟踪鱼个体的运动轨迹。
步骤S3将目标跟踪问题转换为特征分层聚合问题，其通过鱼类跟踪模型使用ResNet-50作为深度骨干网络，使鱼类跟踪模型在低层提取更多关于待跟踪鱼个体的诸如颜色、形状、位置等等待跟踪鱼个体信息，并在高层提取到关于待跟踪鱼个体的包含更多抽象的语义信息。最后，通过输出得到待跟踪鱼个体的运动轨迹，实现对待跟踪鱼个体的实时跟踪，在复杂场景下也不容易对图像背景产生误判。
本发明提供的鱼类异常行为检测与跟踪方法，通过鱼类异常行为检测模型基于鱼类行为视频获得鱼类细粒度特征图，得到具有异常行为的鱼个体的检测结果，能够保证所得到的具有异常行为的鱼个体的检测结果的准确性，为后续鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹提供可靠数据，提高所得到的具有异常行为的鱼个体的运动轨迹的精度，以让渔业管理者及时处理具有异常行为的鱼个体，保证循环水养殖场景的健康。
下面对本发明提供的鱼类异常行为检测与跟踪装置、电子设备、非暂态计算机可读存储介质、及计算机程序产品进行描述，下文描述的鱼类异常行为检测与跟踪装置、电子设备、非暂态计算机可读存储介质、及计算机程序产品与上文描述的鱼类异常行为检测与跟踪方法可相互对应参照。
一种鱼类异常行为检测与跟踪装置，如图3所示，包括：
鱼类行为视频获取模块310，用于获取鱼类行为视频；
鱼个体检测结果得到模块320，用于基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果；
鱼个体运动轨迹得到模块330，用于根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹；
其中，所述鱼类异常行为检测模型基于改进型路径聚合网络训练得到，所述鱼类跟踪模块基于鱼类测试样本数据和鱼类目标样本数据训练得到。
进一步地，所述鱼个体检测结果得到模块中的鱼类异常行为检测模型包括行为视频输入层、第一处理层、增设检测层、第二处理层、以及检测结果输出层，所述鱼个体检测结果得到模块320包括：
待检测数据输入模块，用于将所述鱼类行为视频输入至所述鱼类异常行为检测模型的行为视频输入层；
第一鱼类特征图得到模块，用于基于所述鱼类行为视频，通过所述鱼类异常行为检测模型的第一处理层得到第一鱼类特征图；
鱼类细粒度特征图得到模块，用于基于所述第一鱼类特征图，通过所述鱼类异常行为检测模型的增设检测层得到鱼类细粒度特征图；
鱼个体异常行为检测模块，用于基于所述鱼类细粒度特征图，通过所述鱼类异常行为检测模型的第二处理层得到具有异常行为的鱼个体的检测结果；
检测结果输出模块，用于通过所述鱼类异常行为检测模型的检测结果输出层输出具有异常行为的鱼个体的检测结果。
进一步地，所述鱼类细粒度特征图得到模块中的基于所述第一鱼类特征图，通过所述鱼类异常行为检测模型的增设检测层得到鱼类细粒度特征图，具体为：
通过所述鱼类异常行为检测模型的增设检测层对所述第一鱼类特征图进行上采样，得到第二鱼类特征图，将所述第一鱼类特征图和所述第二鱼类特征图融合，得到第三鱼类特征图，对所述第三鱼类特征图进行下采样，得到鱼类细粒度特征图。
进一步地，所述鱼类跟踪模型包括序列图像输入层、特征提取层、特征处理层、以及轨迹输出层，所述鱼个体运动轨迹得到模块330包括：
序列图像输入模块，用于将若干所述待跟踪鱼个体序列图像输入至所述鱼类跟踪模型的序列图像输入层；
待跟踪鱼个体特征提取模块，用于通过所述鱼类跟踪模型的特征提取层在输入的若干所述待跟踪鱼个体序列图像中分别提取与待跟踪鱼个体有关的待跟踪鱼个体特征；
待跟踪鱼个体特征处理模块，用于通过所述鱼类跟踪模型的特征处理层对待跟踪鱼个体特征进行分层聚合处理，得到待跟踪鱼个体的运动轨迹；
运动轨迹输出模块，用于通过所述鱼类跟踪模型的轨迹输出层输出待跟踪鱼个体的运动轨迹。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行鱼类异常行为检测与跟踪方法，该方法包括：
获取鱼类行为视频；
基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果；
根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹；
其中，所述鱼类异常行为检测模型基于改进型路径聚合网络训练得到，所述鱼类跟踪模块基于鱼类测试样本数据和鱼类目标样本数据训练得到。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的鱼类异常行为检测与跟踪方法，该方法包括：
获取鱼类行为视频；
基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果；
根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹；
其中，所述鱼类异常行为检测模型基于改进型路径聚合网络训练得到，所述鱼类跟踪模块基于鱼类测试样本数据和鱼类目标样本数据训练得到。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的鱼类异常行为检测与跟踪方法，该方法包括：
获取鱼类行为视频；
基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果；
根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹；
其中，所述鱼类异常行为检测模型基于改进型路径聚合网络训练得到，所述鱼类跟踪模块基于鱼类测试样本数据和鱼类目标样本数据训练得到。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种鱼类异常行为检测与跟踪方法，其特征在于，包括：
获取鱼类行为视频；
基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果；
根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹；
其中，所述鱼类异常行为检测模型基于改进型路径聚合网络训练得到，所述鱼类跟踪模块基于鱼类测试样本数据和鱼类目标样本数据训练得到。
2.根据权利要求1所述的鱼类异常行为检测与跟踪方法，其特征在于，所述鱼类异常行为检测模型包括行为视频输入层、第一处理层、增设检测层、第二处理层、以及检测结果输出层，所述基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果，包括：
将所述鱼类行为视频输入至所述鱼类异常行为检测模型的行为视频输入层；
基于所述鱼类行为视频，通过所述鱼类异常行为检测模型的第一处理层得到第一鱼类特征图；
基于所述第一鱼类特征图，通过所述鱼类异常行为检测模型的增设检测层得到鱼类细粒度特征图；
基于所述鱼类细粒度特征图，通过所述鱼类异常行为检测模型的第二处理层得到具有异常行为的鱼个体的检测结果；
通过所述鱼类异常行为检测模型的检测结果输出层输出具有异常行为的鱼个体的检测结果。
3.根据权利要求2所述的鱼类异常行为检测与跟踪方法，其特征在于，所述基于所述第一鱼类特征图，通过所述鱼类异常行为检测模型的增设检测层得到鱼类细粒度特征图，具体为：
通过所述鱼类异常行为检测模型的增设检测层对所述第一鱼类特征图进行上采样，得到第二鱼类特征图，将所述第一鱼类特征图和所述第二鱼类特征图融合，得到第三鱼类特征图，对所述第三鱼类特征图进行下采样，得到鱼类细粒度特征图。
4.根据权利要求1-3任一项所述的鱼类异常行为检测与跟踪方法，其特征在于，所述根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹，包括：
根据具有异常行为的鱼个体的检测结果，确定待跟踪鱼个体；
基于所述鱼类行为视频，得到若干与待跟踪鱼个体有关的待跟踪鱼个体序列图像；
将若干所述待跟踪鱼个体序列图像输入至所述鱼类跟踪模型，得到待跟踪鱼个体的运动轨迹。
5.根据权利要求4所述的鱼类异常行为检测与跟踪方法，其特征在于，所述鱼类跟踪模型包括序列图像输入层、特征提取层、特征处理层、以及轨迹输出层，所述将若干所述待跟踪鱼个体序列图像输入至所述鱼类跟踪模型，得到待跟踪鱼个体的运动轨迹，包括：
将若干所述待跟踪鱼个体序列图像输入至所述鱼类跟踪模型的序列图像输入层；
通过所述鱼类跟踪模型的特征提取层在输入的若干所述待跟踪鱼个体序列图像中分别提取与待跟踪鱼个体有关的待跟踪鱼个体特征；
通过所述鱼类跟踪模型的特征处理层对待跟踪鱼个体特征进行分层聚合处理，得到待跟踪鱼个体的运动轨迹；
通过所述鱼类跟踪模型的轨迹输出层输出待跟踪鱼个体的运动轨迹。
6.一种鱼类异常行为检测与跟踪装置，其特征在于，包括：
鱼类行为视频获取模块，用于获取鱼类行为视频；
鱼个体检测结果得到模块，用于基于所述鱼类行为视频，利用鱼类异常行为检测模型获得鱼类细粒度特征图，以得到具有异常行为的鱼个体的检测结果；
鱼个体运动轨迹得到模块，用于根据具有异常行为的鱼个体的检测结果，通过鱼类跟踪模型得到具有异常行为的鱼个体的运动轨迹；
其中，所述鱼类异常行为检测模型基于改进型路径聚合网络训练得到，所述鱼类跟踪模块基于鱼类测试样本数据和鱼类目标样本数据训练得到。
7.根据权利要求6所述的鱼类异常行为检测与跟踪装置，其特征在于，所述鱼个体检测结果得到模块中的鱼类异常行为检测模型包括行为视频输入层、第一处理层、增设检测层、第二处理层、以及检测结果输出层，所述鱼个体检测结果得到模块包括：
待检测数据输入模块，用于将所述鱼类行为视频输入至所述鱼类异常行为检测模型的输入层；
第一鱼类特征图得到模块，用于基于所述鱼类行为视频，通过所述鱼类异常行为检测模型的第一处理层得到第一鱼类特征图；
鱼类细粒度特征图得到模块，用于基于所述第一鱼类特征图，通过所述鱼类异常行为检测模型的增设检测层得到鱼类细粒度特征图；
鱼个体异常行为检测模块，用于基于所述鱼类细粒度特征图，通过所述鱼类异常行为检测模型的第二处理层得到具有异常行为的鱼个体的检测结果；
检测结果输出模块，用于通过所述鱼类异常行为检测模型的检测结果输出层输出具有异常行为的鱼个体的检测结果。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述鱼类异常行为检测与跟踪方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述鱼类异常行为检测与跟踪方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述鱼类异常行为检测与跟踪方法的步骤。
CN202111187855.6A 2021-10-12 2021-10-12 鱼类异常行为检测与跟踪方法、装置、电子设备、及介质 Pending CN113989324A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111187855.6A CN113989324A (zh) 2021-10-12 2021-10-12 鱼类异常行为检测与跟踪方法、装置、电子设备、及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111187855.6A CN113989324A (zh) 2021-10-12 2021-10-12 鱼类异常行为检测与跟踪方法、装置、电子设备、及介质

Publications (1)

Publication Number Publication Date
CN113989324A true CN113989324A (zh) 2022-01-28

Family

ID=79738244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111187855.6A Pending CN113989324A (zh) 2021-10-12 2021-10-12 鱼类异常行为检测与跟踪方法、装置、电子设备、及介质

Country Status (1)

Country Link
CN (1) CN113989324A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114982677A (zh) * 2022-06-27 2022-09-02 陕西省动物研究所 一种基于大数据的野生鱼类分布保护系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114982677A (zh) * 2022-06-27 2022-09-02 陕西省动物研究所 一种基于大数据的野生鱼类分布保护系统

Similar Documents

Publication Publication Date Title
Yang et al. Computer vision models in intelligent aquaculture with emphasis on fish detection and behavior analysis: a review
Hu et al. Real-time detection of uneaten feed pellets in underwater images for aquaculture using an improved YOLO-V4 network
Yang et al. Deep learning for smart fish farming: applications, opportunities and challenges
Mohamed et al. Msr-yolo: Method to enhance fish detection and tracking in fish farms
An et al. Application of computer vision in fish intelligent feeding system—A review
CN113191222B (zh) 水下鱼类目标检测方法及装置
Su et al. An intelligent method for dairy goat tracking based on Siamese network
Yu et al. U-YOLOv7: a network for underwater organism detection
Ranjan et al. Effects of image data quality on a convolutional neural network trained in-tank fish detection model for recirculating aquaculture systems
CN113989324A (zh) 鱼类异常行为检测与跟踪方法、装置、电子设备、及介质
Guo et al. Enhanced camera-based individual pig detection and tracking for smart pig farms
Liu et al. MonkeyTrail: a scalable video-based method for tracking macaque movement trajectory in daily living cages
Xu et al. Behavioral response of fish under ammonia nitrogen stress based on machine vision
Sun et al. Water quality parameter analysis model based on fish behavior
Wang et al. High-accuracy real-time fish detection based on self-build dataset and RIRD-YOLOv3
Wang et al. Biological characters identification for hard clam larva based on the improved YOLOX-s
Du et al. A novel automatic detection method for breeding behavior of broodstock based on improved YOLOv5
Ran et al. Detection of surfacing white shrimp under hypoxia based on improved lightweight YOLOv5 model
CN113837104B (zh) 基于卷积神经网络的水下鱼类目标检测方法、装置及存储介质
Rico-Díaz et al. An application of fish detection based on eye search with artificial vision and artificial neural networks
Bai et al. X3DFast model for classifying dairy cow behaviors based on a two-pathway architecture
Gregory Dal Toé et al. Automated Video-Based Capture of Crustacean Fisheries Data Using Low-Power Hardware
Zhang et al. Underwater fish detection and counting using image segmentation
Wu et al. Online 3D behavioral tracking of aquatic model organism with a dual-camera system
Xing et al. Fish sonar image recognition algorithm based on improved YOLOv5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination