CN112800994A - 鱼群摄食行为识别方法、装置、电子设备和存储介质 - Google Patents

鱼群摄食行为识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112800994A
CN112800994A CN202110153161.4A CN202110153161A CN112800994A CN 112800994 A CN112800994 A CN 112800994A CN 202110153161 A CN202110153161 A CN 202110153161A CN 112800994 A CN112800994 A CN 112800994A
Authority
CN
China
Prior art keywords
behavior
time sequence
fish
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110153161.4A
Other languages
English (en)
Inventor
刘春红
张玉泉
叶荣珂
李道亮
陈英义
段青玲
孔庆辰
蔡振鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202110153161.4A priority Critical patent/CN112800994A/zh
Publication of CN112800994A publication Critical patent/CN112800994A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种鱼群摄食行为识别方法、装置、电子设备和存储介质，其中方法包括：确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；将时序图像包含的多个图像对依次输入至行为识别模型中，得到行为识别模型输出的鱼群摄食行为状态结果；其中，行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；所述行为识别模型用于基于对第一样本时序图像及对应的标注标签完成目标检测训练，并基于对第二样本时序图像及对应的状态标记进行特征聚类训练后，对待识别鱼群摄食行为进行状态识别。本发明实施例实现了对水产养殖中鱼群摄食行为的准确识别。

Description

鱼群摄食行为识别方法、装置、电子设备和存储介质
技术领域
本发明涉及水产养殖信息技术领域，尤其涉及一种鱼群摄食行为识别方法、装置、电子设备和存储介质。
背景技术
鱼类作为一种重要的动物性蛋白进补产品，不仅可以提供优质蛋白，而且还富含赖氨酸和蛋氨酸等多种有利于人体健康的氨基酸，以及人体必需的矿物质和维生素。现阶段，随着我国水资源承载力下降，水产养殖领域的水资源量正在逐步缩小，提高单位养殖产量，对我国水产供应有着重要意义。在水产养殖中，饲喂成本约占全部成本的60％。目前，循环水养殖系统中鱼类饵料投喂仍以人工操作为主，投喂方式多为单次定量投喂，这可能导致投喂过度或投喂不足，影响鱼群健康。因此，通过对循环水养殖系统内鱼群的摄食行为进行识别分析，根据鱼群行为确定鱼群当前的摄食状态，优化饵料投喂量，对养殖系统中鱼群生长和成本控制有着重要意义。
发明内容
本发明实施例提供一种鱼群摄食行为识别方法、装置、电子设备和存储介质，用以解决现有水养殖中对鱼群摄食行为识别准确率低的问题。
第一方面，本发明实施例提供一种鱼群摄食行为识别方法，包括：
确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；
将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；
其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；
所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。
优选地，所述待识别鱼群摄食行为的时序图像是基于对鱼群摄食行为的视频数据按照固定帧进行间隔采样得到；所述单一图像对是基于所述时序图像中任意连续前后两帧时序图像构成的。
优选地，所述行为识别模型包括目标检测模型、行为特征提取模型和行为特征分类模型；
将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果，包括：
依次将所述时序图像包含的多个图像对输入至所述目标检测模型，依次输出所述时序图像中单一图像对的鱼体位置变化向量组；
依次将所述单一图像对的鱼体位置变化向量组输入至所述行为特征提取模型，依次输出所述单一图像对对应的的鱼群行为特征向量；
依次将所述单一图像对对应的鱼群行为特征向量对输入至所述行为特征分类模型对所述时序图像的单一图像对进行分类，依次输出所述时序图像的投喂前后时间段内的鱼群摄食行为状态结果；
其中，所述目标检测模型是基于所述第一样本时序图像及对应的标注标签对SSD神经网络模型训练得到的；
所述行为特征分类模型是基于所述第二样本时序图像及对应的状态标记对分类模型训练得到的。
优选地，所述目标检测模型包括鱼体位置信息模型和鱼体位置变化模型；
依次将所述时序图像包含的多个图像对输入至所述目标检测模型，依次输出所述时序图像中单一图像对的鱼体位置变化向量组，包括：
单次将所述时序图像中单一图像对输入至所述鱼体位置信息模型进行鱼体目标检测，输出所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息；
单次将所述鱼体位置坐标信息输入至所述鱼体位置变化模型，输出所述时序图像中单一图像对的鱼体位置变化向量组。
优选地，所述行为特征提取模型包括向量组模长模型、向量组余弦距离模型和特征向量模型；
依次将所述单一图像对的鱼体位置变化向量组输入至所述行为特征提取模型，依次输出所述单一图像对对应的的鱼群行为特征向量，包括：
单次将所述时序图像中单一图像对的鱼体位置变化向量组输入至所述向量组模长模型，输出向量组的平均模长m；
单次将所述时序图像中单一图像对的鱼体位置变化向量组输入至所述向量组余弦距离模型，输出向量组的对时间轴的平均余弦距离c；
单次将所述向量组的平均模长m及所述向量组的对时间轴的平均余弦距离c同时输入至所述特征向量模型，输出鱼群行为特征向量
Figure BDA0002932648200000031
优选地，所述单次将所述时序图像中单一图像对输入至所述鱼体位置信息模型进行鱼体目标检测，输出所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息，具体包括：
检测到所述时序图像中单一图像对的鱼体边界框及所述鱼体边界框的中心点坐标，并基于欧式距离最小化找到所述单一图像对对应的前后两帧时序图像中每个鱼体相对应的两个中心点坐标；
所述单次将所述鱼体位置坐标信息输入至所述鱼体位置变化模型，输出所述时序图像中单一图像对的鱼体位置变化向量组，具体包括：
基于所述每个鱼体相对应的两个中心点坐标得到每个鱼体位置变化向量
Figure BDA0002932648200000041
，并基于所述每个鱼体位置变化向量
Figure BDA0002932648200000042
得到所述时序图像中单一图像对的鱼体位置变化向量组S。
优选地，所述第二样本时序图像及对应的状态标记通过以下方法生成：
将基于所述第二样本时序图像得到的多组不同状态的鱼群行为特征向量作为鱼群行为特征数据集；
基于所述多组不同状态的鱼群行为特征向量分别对不同状态下的向量组的平均模长和对时间轴的平均余弦距离取平均值，得到不同状态下的鱼群行为特征阈值；
基于所述不同状态下的鱼群行为特征阈值对所述鱼群行为特征数据集进行状态标注得到所述第二样本时序图像对应的状态标记。
第二方面，本发明实施例提供一种鱼群摄食行为识别装置，包括：
所述图像对提取单元，用于确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；
所述行为识别单元，用于将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；
其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的任一项所述鱼群摄食行为识别方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的任一项所述鱼群摄食行为识别方法的步骤。
本发明实施例提供的一种鱼群摄食行为识别方法、装置、电子设备和存储介质，通过将鱼群摄食行为的时序图像包含的多个图像对依次输入行为识别模型，输出鱼群摄食行为状态结果，实现了对水产养殖系统中鱼群摄食行为的准确识别及状态分析，从而优化饵料投喂策略，解决了饵料投喂过度依赖人工经验以及粗放式投饵导致的鱼群生长健康不良的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的鱼群摄食行为识别方法的流程示意图；
图2是本发明提供的行为识别模型框图；
图3是本发明提供的目标检测模型框图；
图4是本发明提供的行为特征提取模型框图；
图5是本发明提供的分类模型训练示意图；
图6是本发明提供的鱼群摄食行为识别装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图7描述本发明提供的一种鱼群摄食行为识别方法、装置、电子设备和存储介质。
本发明实施例提供了一种鱼群摄食行为识别方法。图1为本发明实施例提供的鱼群摄食行为识别方法的流程示意图，如图1所示，该方法包括：
步骤110，确定待识别鱼群摄食行为视频数据中包含多个图像对的时序图像；其中，单一图像对包含单一鱼群摄食行为状态；
具体地，实验前对单个循环水养殖池饲养50条石斑鱼，每天间隔3小时投喂一次，每次投饵总量控制在鱼体总体量的0.5％～1.0％，每次投喂分为5个阶段，其中每阶段前1分钟为投饵时间，后两分钟为暂停观察时间。养殖池内溶解氧含量维持在5.0±1.0mg/L范围，水温控制在20℃～25℃。在一周内，采用分辨率为1920×1080像素的支架式RGB相机对养殖池进行连续拍摄，相机顶部架设16mol/(m2·s)竖直型补充光源，镜头前增设CPL偏振镜片减少鱼群游动引起的水面反光。对连续拍摄的视频数据进行帧分割，并选取鱼体目标较为清晰的图像作为原始的时序图像数据集，将数据集按时间顺序构建图像对，每个图像对包含待识别出的一次鱼群摄食行为状态。
步骤120，将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。
具体地，将时序图像数据集中多个图像对依次输入行为识别模型，按时间顺序依次输出视频数据中一段时间内的鱼群摄食行为状态。在此之前，采集样本时序图像，并对该样本时序图像进行鱼体位置标注后训练单发多框检测SSD神经网络模型，同时输出该样本时序图像包含的鱼体位置信息，对该鱼体位置信息进行特征提取后得到鱼群行为特征。再次采集样本时序图像，经过训练后的SSD神经网络模型得到鱼群行为特征数据集，对该鱼群行为特征数据集进行状态标注后训练多分类支持向量机MVSM分类模型，从而得到行为识别模型。
本发明实施例提供的方法，基于第一和第二样本时序图像训练后得到行为识别模型，通过输入待识别鱼群摄食行为的时序图像的图像对进行鱼群摄食状态分类，能够准确识别视频数据时间段内的鱼群摄食行为状态，从而优化饵料投喂策略。
基于上述任一实施例，所述待识别鱼群摄食行为的时序图像是基于对鱼群摄食行为的视频数据按照固定帧进行间隔采样得到；所述单一图像对是基于所述时序图像中任意连续前后两帧时序图像构成的。
具体地，将使用支架式RGB相机拍摄循环水系统养殖池以获取视频数据，并按固定帧分割获取时序图像。实际应用中，通常以24帧为间隔从视频图像中提取时序图像序列并顺序构建图像对，每个图像对由任意连续的前后两帧构成。
基于上述任一实施例，如图2所示，所述行为识别模型包括目标检测模型210、行为特征提取模型220和行为特征分类模型230；
将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果，包括：
依次将所述时序图像包含的多个图像对输入至所述目标检测模型210，依次输出所述时序图像中单一图像对的鱼体位置变化向量组；
依次将所述单一图像对的鱼体位置变化向量组输入至所述行为特征提取模型220，依次输出所述单一图像对对应的的鱼群行为特征向量；
依次将所述单一图像对对应的鱼群行为特征向量对输入至所述行为特征分类模型230对所述时序图像的单一图像对进行分类，依次输出所述时序图像的投喂前后时间段内的鱼群摄食行为状态结果；
其中，所述目标检测模型210是基于所述第一样本时序图像及对应的标注标签对SSD神经网络模型训练得到的；
具体地，单发多框检测SSD(Single Shot MultiBox Detector)神经网络模型用于检测单帧图像中单个鱼体位置信息，随即分别将任意连续的前后两帧的鱼体位置信息构建成一个鱼体位置变化向量组。训练所述SSD神经网络模型前，需要获得标注样本图像。也就是，从获取到的原始视频数据中提取时序图像数据集，对数据集进行标注；然后，使用随机法按3：1的比例将时序图像数据集划分为训练集和验证集。采用训练集完成所述SSD神经网络模型的训练后，使用验证集对所述SSD神经网络模型进行验证，若识别准确率高于95％，随即确定所述训练后SSD神经网络模型为鱼体目标检测模型，否则重新训练所述SSD神经网络模型。
所述行为特征分类模型230是基于所述第二样本时序图像及对应的状态标记对分类模型训练得到的；
具体地，训练所述分类模型前，需要获得状态标注后的鱼群行为特征数据集。即，从拍摄的原始视频数据中采集第二样本时序图像，将所述第二样本时序图像经过训练后的SSD神经网络模型提取鱼群行为特征向量，基于鱼群行为特征向量得到鱼群行为特征数据集及相应的状态标注，其中饱食状态标注为1，饥饿状态标注为2，重度饥饿状态标注为3；然后，使用随机法按3：1的比例将鱼群行为特征数据集划分为训练样本和验证样本。使用状态标注后的训练样本对MSVM分类模型进行训练，训练完成后使用验证样本验证MSVM分类模型，若分类准确率CCR(Correct Classification Rate)高于95％，随即确定所述MSVM分类模型为鱼群行为特征分类模型，否则重新训练所述MSVM分类模型。
基于上述任一实施例，如图3所示，所述目标检测模型包括鱼体位置信息模型310和鱼体位置变化模型320；
依次将所述时序图像包含的多个图像对输入至所述目标检测模型，依次输出所述时序图像中单一图像对的鱼体位置变化向量组，包括：
单次将所述时序图像中单一图像对输入至所述鱼体位置信息模型310进行鱼体目标检测，输出所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息；
单次将所述鱼体位置坐标信息输入至所述鱼体位置变化模型320，输出所述时序图像中单一图像对的鱼体位置变化向量组。
基于上述任一实施例，如图4所示，所述行为特征提取模型包括向量组模长模型410、向量组余弦距离模型420和特征向量模型430；
依次将所述单一图像对的鱼体位置变化向量组输入至所述行为特征提取模型，依次输出所述单一图像对对应的的鱼群行为特征向量，包括：
单次将所述时序图像中单一图像对的鱼体位置变化向量组输入至所述向量组模长模型410，输出向量组的平均模长m；
单次将所述时序图像中单一图像对的鱼体位置变化向量组输入至所述向量组余弦距离模型420，输出向量组的对时间轴的平均余弦距离c；
单次将所述向量组的平均模长m及所述向量组的对时间轴的平均余弦距离c同时输入至所述特征向量模型430，输出鱼群行为特征向量
Figure BDA0002932648200000101
基于上述任一实施例，所述基于单次输入的所述时序图像中单一图像对进行鱼体目标检测，得到所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息，具体包括：
检测到所述时序图像中单一图像对的鱼体边界框及所述鱼体边界框的中心点坐标，并基于欧式距离最小化找到所述单一图像对对应的前后两帧时序图像中每个鱼体相对应的两个中心点坐标；
所述基于得到的所述鱼体位置坐标信息构建所述时序图像中单一图像对的鱼体位置变化向量组，具体包括：
基于所述每个鱼体相对应的两个中心点坐标得到每个鱼体位置变化向量
Figure BDA0002932648200000102
其公式如下：
Figure BDA0002932648200000103
其中，xi,yi,ti分别为第i帧时序图像中的鱼体的中心点坐标及时序图像时间，xj,yj,tj分别为第i帧时序图像中的鱼体中心点坐标及时序图像时间按照欧式距离最小化对应的第j帧时序图像中的鱼体的中心点坐标及时序图像时间，1≤i＜j≤n，j＝i+1，n为时序图像的固定帧数，
Figure BDA0002932648200000104
为每个鱼体位置变化向量；
并基于所述每个鱼体位置变化向量
Figure BDA0002932648200000105
得到所述时序图像中单一图像对的鱼体位置变化向量组S。
具体地，对任一图像对中前帧图像Ifront的任意鱼体坐标点Pfront(xi,yi,ti)，遍历寻找后帧图像Iafter中与之欧式距离最近的坐标点Pafter(xj,yj,tj)，使用这两个坐标点构建一个鱼体位置变化向量
Figure BDA0002932648200000106
重复该步骤，从而建立该图像对中所有鱼体位置变化向量组S。
基于上述任一实施例，如图5所示，所述第二样本时序图像及对应的状态标记通过以下方法生成：
步骤510，将基于所述第二样本时序图像得到的多组不同状态的鱼群行为特征向量作为鱼群行为特征数据集；
步骤520，基于所述多组不同状态的鱼群行为特征向量分别对不同状态下的向量组的平均模长和对时间轴的平均余弦距离取平均值，得到不同状态下的鱼群行为特征阈值；
步骤530，基于所述不同状态下的鱼群行为特征阈值对所述鱼群行为特征数据集进行状态标注得到所述第二样本时序图像对应的状态标记。
具体地，单独采集拍摄的鱼群摄鱼群饱食状态、饥饿状态和重度饥饿状态的视频数据作为第二样本时序图像，对该第二样本时序图像构建图像对后，使用上述目标检测模型和行为特征提取模型构成的鱼群行为特征计算方法，分别计算多组不同状态的鱼群行为特征向量
Figure BDA0002932648200000111
得到鱼群行为特征数据集；
对
Figure BDA0002932648200000112
中的m、c分别取平均，相应地得到不同状态下的鱼群行为特征阈值[m1 m2 m3]和[c1 c2 c3]；
基于不同状态下的鱼群行为特征阈值对鱼群行为特征数据集进行标注：若鱼群行为特征数据集满足{(m,c)|0＜m＜m1,c1＜c＜1}，则为饱食状态，标记为1；若鱼群行为特征数据集满足{(m,c)|m1＜m＜m2,c2＜c＜c1}，则为饥饿状态，标记为2；若鱼群行为特征数据集满足{(m,c)|m2＜m＜m3,c3＜c＜c2}，则为重度饥饿状态，标记为3。
下面对本发明提供的一种鱼群摄食行为识别装置进行描述，下文描述的与上文描述的一种鱼群摄食行为识别方法可相互对应参照。
图6为本发明实施例提供的鱼群摄食行为识别装置的结构示意图，如图6所示，该装置包括图像对提取单元610和行为识别单元620：
所述图像对提取单元610，用于确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；
所述行为识别单元620，用于将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；
其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。
本发明实施例提供的装置，基于第一和第二样本时序图像训练后得到行为识别模型，通过输入待识别鱼群摄食行为的时序图像的图像对进行鱼群摄食状态分类，能够准确识别视频数据时间段内的鱼群摄食行为状态，从而优化饵料投喂策略。
基于上述任一实施例，所述图像对提取单元610具体用于：
基于对鱼群摄食行为的视频数据按照固定帧进行间隔采样得到所述待识别鱼群摄食行为的时序图像；
基于所述时序图像中任意连续前后两帧时序图像构成所述单一图像对。
基于上述任一实施例，所述行为识别单元620包括目标检测模块、行为特征提取模块和行为特征分类模块构成的行为识别模型；
所述目标检测模块，用于依次输入所述时序图像包含的多个图像对，依次输出所述时序图像中单一图像对的鱼体位置变化向量组；
所述行为特征提取模块，用于依次基于所述单一图像对的鱼体位置变化向量组提取出所述单一图像对对应的的鱼群行为特征向量；
所述行为特征分类模块，用于依次基于所述单一图像对对应的鱼群行为特征向量对所述时序图像的单一图像对进行分类，依次得到所述时序图像的投喂前后时间段内的鱼群摄食行为状态结果；
其中，所述目标检测模块是基于所述第一样本时序图像及对应的标注标签对SSD神经网络模型训练得到的；所述行为特征分类模块是基于所述第二样本时序图像及对应的状态标记对分类模型训练得到的。
基于上述任一实施例，所述目标检测模块包括鱼体位置信息模块和鱼体位置变化模块；
所述鱼体位置信息模块，用于基于单次输入的所述时序图像中单一图像对进行鱼体目标检测，得到所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息；
所述鱼体位置变化模块，用于基于得到的所述鱼体位置坐标信息构建所述时序图像中单一图像对的鱼体位置变化向量组。
基于上述任一实施例，所述行为特征提取模块包括向量组模长模块、向量组余弦距离模块和特征向量模块；
所述向量组模长模块，用于基于所述时序图像中单一图像对的鱼体位置变化向量组得到向量组的平均模长m；
所述向量组余弦距离模块，用于基于所述所述时序图像中单一图像对的鱼体位置变化向量组得到向量组的对时间轴的平均余弦距离c；
所述特征向量模块，用于将所述向量组的平均模长m及对时间轴的平均余弦距离c作为鱼群行为特征向量
Figure BDA0002932648200000131
。
基于上述任一实施例，所述基于单次输入的所述时序图像中单一图像对进行鱼体目标检测，得到所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息，具体包括：
检测到所述时序图像中单一图像对的鱼体边界框及所述鱼体边界框的中心点坐标，并基于欧式距离最小化找到所述单一图像对对应的前后两帧时序图像中每个鱼体相对应的两个中心点坐标；
所述基于得到的所述鱼体位置坐标信息构建所述时序图像中单一图像对的鱼体位置变化向量组，具体包括：
基于所述每个鱼体相对应的两个中心点坐标得到每个鱼体位置变化向量
Figure BDA0002932648200000141
其公式如下：
Figure BDA0002932648200000142
其中，xi,yi,ti分别为第i帧时序图像中的鱼体的中心点坐标及时序图像时间，xj,yj,tj分别为第i帧时序图像中的鱼体中心点坐标及时序图像时间按照欧式距离最小化对应的第j帧时序图像中的鱼体的中心点坐标及时序图像时间，1≤i＜j≤n，j＝i+1，n为时序图像的固定帧数，
Figure BDA0002932648200000143
为每个鱼体位置变化向量；
基于所述每个鱼体位置变化向量
Figure BDA0002932648200000144
得到所述时序图像中单一图像对的鱼体位置变化向量组S。
基于上述任一实施例，所述第二样本时序图像及对应的状态标记通过以下方法生成：
将基于所述第二样本时序图像得到的多组不同状态的鱼群行为特征向量作为鱼群行为特征数据集；
基于所述多组不同状态的鱼群行为特征向量分别对不同状态下的向量组的平均模长和对时间轴的平均余弦距离取平均值，得到不同状态下的鱼群行为特征阈值；
基于所述不同状态下的鱼群行为特征阈值对所述鱼群行为特征数据集进行状态标注得到所述第二样本时序图像对应的状态标记。
图7为本发明实施例提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行鱼群摄食行为识别方法，该方法包括：确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的鱼群摄食行为识别方法，该方法包括：确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的鱼群摄食行为识别方法，该方法包括：确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种鱼群摄食行为识别方法，其特征在于，包括：
确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；
将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；
其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；
所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。
2.根据权利要求1所述的鱼群摄食行为识别方法，其特征在于，所述待识别鱼群摄食行为的时序图像是基于对鱼群摄食行为的视频数据按照固定帧进行间隔采样得到；所述单一图像对是基于所述时序图像中任意连续前后两帧时序图像构成的。
3.根据权利要求1所述的鱼群摄食行为识别方法，其特征在于，所述行为识别模型包括目标检测模型、行为特征提取模型和行为特征分类模型；
将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果，包括：
依次将所述时序图像包含的多个图像对输入至所述目标检测模型，依次输出所述时序图像中单一图像对的鱼体位置变化向量组；
依次将所述单一图像对的鱼体位置变化向量组输入至所述行为特征提取模型，依次输出所述单一图像对对应的的鱼群行为特征向量；
依次将所述单一图像对对应的鱼群行为特征向量对输入至所述行为特征分类模型对所述时序图像的单一图像对进行分类，依次输出所述时序图像的投喂前后时间段内的鱼群摄食行为状态结果；
其中，所述目标检测模型是基于所述第一样本时序图像及对应的标注标签对SSD神经网络模型训练得到的；
所述行为特征分类模型是基于所述第二样本时序图像及对应的状态标记对分类模型训练得到的。
4.根据权利要求3所述的鱼群摄食行为识别方法，其特征在于，所述目标检测模型包括鱼体位置信息模型和鱼体位置变化模型；
依次将所述时序图像包含的多个图像对输入至所述目标检测模型，依次输出所述时序图像中单一图像对的鱼体位置变化向量组，包括：
单次将所述时序图像中单一图像对输入至所述鱼体位置信息模型进行鱼体目标检测，输出所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息；
单次将所述鱼体位置坐标信息输入至所述鱼体位置变化模型，输出所述时序图像中单一图像对的鱼体位置变化向量组。
5.根据权利要求3所述的鱼群摄食行为识别方法，其特征在于，所述行为特征提取模型包括向量组模长模型、向量组余弦距离模型和特征向量模型；
依次将所述单一图像对的鱼体位置变化向量组输入至所述行为特征提取模型，依次输出所述单一图像对对应的的鱼群行为特征向量，包括：
单次将所述时序图像中单一图像对的鱼体位置变化向量组输入至所述向量组模长模型，输出向量组的平均模长m；
单次将所述时序图像中单一图像对的鱼体位置变化向量组输入至所述向量组余弦距离模型，输出向量组的对时间轴的平均余弦距离c；
单次将所述向量组的平均模长m及所述向量组的对时间轴的平均余弦距离c同时输入至所述特征向量模型，输出鱼群行为特征向量
Figure FDA0002932648190000031
6.根据权利要求4所述的鱼群摄食行为识别方法，其特征在于，所述单次将所述时序图像中单一图像对输入至所述鱼体位置信息模型进行鱼体目标检测，输出所述单一图像对对应的连续前后两帧时序图像的鱼体位置坐标信息，具体包括：
检测到所述时序图像中单一图像对的鱼体边界框及所述鱼体边界框的中心点坐标，并基于欧式距离最小化找到所述单一图像对对应的前后两帧时序图像中每个鱼体相对应的两个中心点坐标；
所述单次将所述鱼体位置坐标信息输入至所述鱼体位置变化模型，输出所述时序图像中单一图像对的鱼体位置变化向量组，具体包括：
基于所述每个鱼体相对应的两个中心点坐标得到每个鱼体位置变化向量
Figure FDA0002932648190000032
并基于所述每个鱼体位置变化向量
Figure FDA0002932648190000033
得到所述时序图像中单一图像对的鱼体位置变化向量组S。
7.根据权利要求3所述的鱼群摄食行为识别方法，其特征在于，所述第二样本时序图像及对应的状态标记通过以下方法生成：
将基于所述第二样本时序图像得到的多组不同状态的鱼群行为特征向量作为鱼群行为特征数据集；
基于所述多组不同状态的鱼群行为特征向量分别对不同状态下的向量组的平均模长和对时间轴的平均余弦距离取平均值，得到不同状态下的鱼群行为特征阈值；
基于所述不同状态下的鱼群行为特征阈值对所述鱼群行为特征数据集进行状态标注得到所述第二样本时序图像对应的状态标记。
8.一种鱼群摄食行为识别装置，其特征在于，包括：
所述图像对提取单元，用于确定待识别鱼群摄食行为的时序图像包含的多个图像对；其中，单一图像对包含单一鱼群摄食行为状态；
所述行为识别单元，用于将所述时序图像包含的多个图像对依次输入至行为识别模型中，得到所述行为识别模型输出的鱼群摄食行为状态结果；
其中，所述行为识别模型是基于第一样本时序图像及对应的标注标签和第二样本时序图像及对应的状态标记训练得到的；
所述行为识别模型用于基于所述第一样本时序图像及对应的标注标签完成目标检测训练，并基于所述第二样本时序图像及对应的状态标记完成特征聚类训练后，对所述待识别鱼群摄食行为进行状态识别。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述鱼群摄食行为识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述鱼群摄食行为识别方法的步骤。
CN202110153161.4A 2021-02-03 2021-02-03 鱼群摄食行为识别方法、装置、电子设备和存储介质 Pending CN112800994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110153161.4A CN112800994A (zh) 2021-02-03 2021-02-03 鱼群摄食行为识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110153161.4A CN112800994A (zh) 2021-02-03 2021-02-03 鱼群摄食行为识别方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112800994A true CN112800994A (zh) 2021-05-14

Family

ID=75814090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110153161.4A Pending CN112800994A (zh) 2021-02-03 2021-02-03 鱼群摄食行为识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112800994A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435396A (zh) * 2021-07-13 2021-09-24 大连海洋大学 基于图像自适应抗噪的水下鱼群检测方法
CN114463675A (zh) * 2022-01-11 2022-05-10 北京市农林科学院信息技术研究中心 一种水下鱼类群组活动强度识别方法及装置
CN115690570A (zh) * 2023-01-05 2023-02-03 中国水产科学研究院黄海水产研究所 一种基于st-gcn的鱼群摄食强度预测方法
CN116863322A (zh) * 2023-07-28 2023-10-10 江苏中水东泽农业发展股份有限公司 基于ai的鱼类繁殖用自适应光照方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110583550A (zh) * 2019-09-20 2019-12-20 重庆工商大学 基于目标检测与跟踪的鱼虾参养殖精准投喂系统及装置
CN110942045A (zh) * 2019-12-05 2020-03-31 安徽信息工程学院 一种基于机器视觉的智能鱼缸投食系统
US20200113158A1 (en) * 2017-06-28 2020-04-16 Observe Technologies Limited Data collection system and method for feeding aquatic animals

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200113158A1 (en) * 2017-06-28 2020-04-16 Observe Technologies Limited Data collection system and method for feeding aquatic animals
CN110583550A (zh) * 2019-09-20 2019-12-20 重庆工商大学 基于目标检测与跟踪的鱼虾参养殖精准投喂系统及装置
CN110942045A (zh) * 2019-12-05 2020-03-31 安徽信息工程学院 一种基于机器视觉的智能鱼缸投食系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
何佳 等: "基于计算机视觉技术的水产养殖中鱼类行为识别与量化研究进展", 《渔业现代化》 *
张重阳 等: "基于计算机视觉的鱼类摄食行为研究现状及展望", 《江苏农业科学》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435396A (zh) * 2021-07-13 2021-09-24 大连海洋大学 基于图像自适应抗噪的水下鱼群检测方法
CN114463675A (zh) * 2022-01-11 2022-05-10 北京市农林科学院信息技术研究中心 一种水下鱼类群组活动强度识别方法及装置
CN115690570A (zh) * 2023-01-05 2023-02-03 中国水产科学研究院黄海水产研究所 一种基于st-gcn的鱼群摄食强度预测方法
CN115690570B (zh) * 2023-01-05 2023-03-28 中国水产科学研究院黄海水产研究所 一种基于st-gcn的鱼群摄食强度预测方法
CN116863322A (zh) * 2023-07-28 2023-10-10 江苏中水东泽农业发展股份有限公司 基于ai的鱼类繁殖用自适应光照方法、装置及存储介质
CN116863322B (zh) * 2023-07-28 2024-04-30 江苏中水东泽农业发展股份有限公司 基于ai的鱼类繁殖用自适应光照方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN112800994A (zh) 鱼群摄食行为识别方法、装置、电子设备和存储介质
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
US20230281265A1 (en) Method for estimating body size and weight of pig based on deep learning
CN112232978B (zh) 水产品体长和重量检测方法、终端设备及存储介质
CN109117857B (zh) 一种生物属性的识别方法、装置及设备
CN110046574A (zh) 基于深度学习的安全帽佩戴识别方法及设备
CN112257564B (zh) 水产品数量统计方法、终端设备及存储介质
CN113592896B (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112528823B (zh) 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统
CN112232977A (zh) 水产品养殖评估方法、终端设备及存储介质
CN115578423A (zh) 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统
CN113222889B (zh) 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置
Yu et al. An automatic detection and counting method for fish lateral line scales of underwater fish based on improved YOLOv5
CN113284164A (zh) 虾群自动计数方法、装置、电子设备及存储介质
CN112132026A (zh) 动物识别方法及装置
CN114419432B (zh) 一种鱼群摄食强度评估方法及装置
CN110163253A (zh) 鱼浮头程度检测方法及系统
Khan et al. Hybrid Deep Learning Approach for Enhanced Animal Breed Classification and Prediction.
Qi et al. Deep Learning Based Image Recognition In Animal Husbandry
CN112215107A (zh) 一种猪的行为识别方法及装置、电子设备和存储介质
CN116830162A (zh) 用于生物体量化的系统、方法和计算机可执行代码
Zhao et al. A Study on the Whole-skin Peeling System of a Snakehead Based on Three-dimensional Reconstruction
CN114264355B (zh) 重量检测方法、装置、电子设备及存储介质
Al-Jubouri et al. Recognition of Individual Zebrafish Using Speed-Up Robust Feature Matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210514