CN115690570B - 一种基于st-gcn的鱼群摄食强度预测方法 - Google Patents

一种基于st-gcn的鱼群摄食强度预测方法 Download PDF

Info

Publication number
CN115690570B
CN115690570B CN202310009858.3A CN202310009858A CN115690570B CN 115690570 B CN115690570 B CN 115690570B CN 202310009858 A CN202310009858 A CN 202310009858A CN 115690570 B CN115690570 B CN 115690570B
Authority
CN
China
Prior art keywords
feeding
fish school
fish
position information
gcn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310009858.3A
Other languages
English (en)
Other versions
CN115690570A (zh
Inventor
崔鸿武
赵海翔
吴元凯
崔正国
曲克明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yellow Sea Fisheries Research Institute Chinese Academy of Fishery Sciences
Original Assignee
Yellow Sea Fisheries Research Institute Chinese Academy of Fishery Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yellow Sea Fisheries Research Institute Chinese Academy of Fishery Sciences filed Critical Yellow Sea Fisheries Research Institute Chinese Academy of Fishery Sciences
Priority to CN202310009858.3A priority Critical patent/CN115690570B/zh
Publication of CN115690570A publication Critical patent/CN115690570A/zh
Application granted granted Critical
Publication of CN115690570B publication Critical patent/CN115690570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81Aquaculture, e.g. of fish

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于鱼类养殖投喂技术领域,公开了一种基于ST‑GCN的鱼群摄食强度预测方法,包括以下步骤:构建特征提取模型并进行训练,将鱼群摄食行为视频图像输入到训练后的特征提取模型中进行时空特征提取,获得鱼群个体与时间序列一一对应的空间位置信息;获取摄食强度信息,基于摄食强度信息为空间位置信息做数据标注,获得标注后的空间位置信息;构建初始摄食强度预测模型,基于标注后的空间位置信息对初始摄食强度预测模型进行训练,获得目标摄食强度预测模型,基于目标摄食强度预测模型对鱼群的摄食强度进行预测。本发明构建的鱼群摄食强度预测模型,在训练模型所需的数据量大大降低,并且对鱼群摄食强度的预测拥有更高的准确率。

Description

一种基于ST-GCN的鱼群摄食强度预测方法
技术领域
本发明属于鱼类养殖投喂技术领域,特别是涉及一种基于ST-GCN的鱼群摄食强度预测方法。
背景技术
目前,对鱼类摄食强度评估模型的研究主要分为两个方面:一是采用CNN分类算法对鱼群摄食行为图像进行识别,二是对图像中鱼群个体的行为进行特征提取,然后通过人为设计的摄食强度指数进行评估或者通过svm、lstm等算法进行时间序列预测。CNN分类算法在训练和预测过程中,每一帧图像相互独立,而非一条完整的时间序列,因此,模型只能学习到图像中鱼群空间位置的特征,却忽略了速度、转向角等同样与评估鱼群食欲息息相关的特征,当图像出现昏暗、对比度低,背景环境复杂,光线干扰等情况时,只通过学习图像特征往往难以取得良好的效果。目标检测算法也有很多局限性,由于鱼类养殖池环境往往十分复杂,存在有大量噪声、光线干扰、鱼群堆叠等现象,使得很难得到效果良好的鱼类前景;同时,目标检测算法会通过预处理将图像二值化,导致图像的颜色特征的缺失。除了目标检测算法外,还可以使用centertrack、fairmort等追踪算法对鱼类个体进行跟踪,通过只追踪鱼头的方法,虽然大大减少了鱼群身体遮挡造成的影响,但在高摄食强度的情况下,鱼群剧烈抢食,头部追踪同样无法获得好的效果。此外,与cnn分类算法正好相反的是,目标检测算法结合人为设计评价方式框架和追踪算法结合时序预测算法框架都忽略了图像中鱼群的空间位置信息,而只能学习到提取出的特征值,当不同摄食强度下的特征值差别较小时,算法则无法取得较好的效果。
因此,亟需提出一种基于时空图卷积神经网络(ST-GCN)的鱼群摄食强度预测方法,对鱼群的摄食行为进行精确分析,提高养殖效益。
发明内容
本发明的目的是提供一种基于ST-GCN的鱼群摄食强度预测方法,以解决上述现有技术存在的问题。
为实现上述目的,本发明提供了一种基于ST-GCN的鱼群摄食强度预测方法,包括以下步骤:
构建特征提取模型并进行训练,将鱼群摄食行为视频图像输入到训练后的特征提取模型中进行时空特征提取,获得鱼群个体与时间序列一一对应的空间位置信息;
获取摄食强度信息,基于所述摄食强度信息为所述空间位置信息做数据标注,获得标注后的空间位置信息;
构建初始摄食强度预测模型,基于所述标注后的空间位置信息对所述初始摄食强度预测模型进行训练,获得目标摄食强度预测模型,基于所述目标摄食强度预测模型对鱼群的摄食强度进行预测。
可选地,对鱼群摄食行为视频图像进行特征提取之前还包括:预设视频长度,将所述视频图像划分为满足预设视频长度的片段,获得鱼群摄食行为的数据集。
可选地,对特征提取模型进行训练的过程包括:对所述数据集中的鱼群每个个体的头部进行标注,获得标注后的数据集,并将所述标注后的数据集输入到所述特征提取模型中进行训练。
可选地,进行时空特征提取的过程包括:截取鱼群中每个个体的头部图像并输入到训练后的特征提取模型中,获得鱼群中每个个体的头部权重;基于所述头部权重,对数据集中的鱼群每个个体的头部进行追踪,获得鱼群中每个个体与时间序列一一对应的空间位置信息。
可选地,基于所述摄食强度信息为所述空间位置信息做数据标注之前还包括:所述空间位置信息均包括预设数量的按跟踪序号排列的元素,当实际获得的空间位置信息的元素数小于预设数量时,基于数据补全算法自动复制最后一个元素对所述实际获得的空间位置信息进行补充。
可选地,构建初始摄食强度预测模型的过程包括:将ST-GCN的网络结构修改成八节点边的连接方式,基于修改后的ST-GCN网络构建初始摄食强度预测模型。
本发明的技术效果为:
本发明的鱼群摄食强度预测方法在获取中、弱摄食强度等级的数据集上提高了鱼群的跟踪准确率,并能够对高摄食等级下的鱼群特征信息的缺失值进行补全,实现了特征增强。
本发明构建的鱼群摄食强度预测模型,在训练模型所需的数据量大大降低,并且对鱼群摄食强度的预测拥有更高的准确率。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例中的基于ST-GCN的鱼群摄食强度预测方法流程图;
图2为本发明实施例中的YOLOv5-deepsort的模型结构示意图;
图3为本发明实施例中的连续时间序列上鱼群的拓扑图;
图4为本发明实施例中的鱼群摄食强度预测过程示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
如图1-图4所示,本实施例中提供一种基于ST-GCN的鱼群摄食强度预测方法。本实施例的实验系统为一个0.8m*0.8m*0.6m的玻璃缸,图像采集系统由摄像机、光源和数据存储器组成,为避免光线干扰,光源被放置在养殖池底部,由六根LED灯管构成,摄像机被放置于系统正上方,采集分辨率为1080×1920像素,速率为60fps。系统中共养殖鱼8尾,用漂浮颗粒喂养,水温维持在20-25℃之间,实验前,已在系统中进行了为期8周的养殖。
首先,通过视频采集系统,对鱼群喂食前、喂食中和喂食后的摄食行为进行拍摄,共采集到79500帧长度的视频图像,针对st-gcn的输入方式,将视频分为265个300帧长度的片段,制作出鱼群摄食行为数据集。
本实施例中,利用YOLOv5-deepsort进行特征提取的工作流程为:使用labelimg对图像中的鱼类头部进行标注,将标注好的数据集输入YOLOv5网络中进行训练,其网络结构获得用于识别鱼类头部的权重;将鱼类头部图像截取并输入到deepsort网络中,训练出用于鱼类头部追踪的权重;将权重输入追踪器中,对视频中的鱼类头部进行追踪,并输出每一个鱼类个体在连续帧中的空间位置。
YOLOv5-deepsort的模型结构如图2所示,其原理为:(1)将第一帧次检测到的结果创建为对应的轨迹并通过卡尔曼滤波产生下一帧的预测框,此时为不确认态轨迹。(2)将该帧的检测框和上一帧通过预测框一一进行IOU匹配,再通过IOU匹配的结果计算其代价矩阵。(3)将(2)中得到的所有的代价矩阵作为匈牙利算法的输入,得到线性的匹配的结果,这时候得到的结果有三种,第一种是轨迹失配,删除;第二种是检测框失配,将这样的检测框初始化为一个新的轨迹;第三种是检测框和预测框配对,这说明前一帧和后一帧追踪成功,将其对应的检测框通过卡尔曼滤波更新其对应的轨迹变量。(4)反复循环(2)-(3)步骤,直到出现确认态的轨迹或者视频帧结束。(5)通过卡尔曼滤波对确认态和不确认态的轨迹生成预测框,将确认态的预测框和检测进行级联匹配。(6)进行级联匹配后有三种可能的结果。第一种,轨迹匹配,这样的轨迹通过卡尔曼滤波更新其对应的轨迹变量。第二第三种是检测框和轨迹失配,这时将之前的不确认状态的轨迹和失配的轨迹一起和失配的检测框一一进行IOU匹配,再通过IOU匹配的结果计算其代价矩阵。(7)将(6)中得到的所有的代价矩阵作为匈牙利算法的输入,得到线性的匹配的结果,这时候得到的结果有三种,第一种是轨迹失配,不确认态删除,确认态的达到最大失配次数后删除;第二种是检测框失配,将其初始化为一个新的轨迹;第三种是检测框和预测框配对成功,将其对应的检测框通过卡尔曼滤波更新其对应的轨迹变量。(8)反复循环(5)-(7)步骤,直到视频帧结束。在本实施例中,超参数如表1所示:
表1
Figure 407513DEST_PATH_IMAGE001
对输出的位置数据进行数据补全处理,在输出中,每一帧数据为一个内含八个按跟踪序号排列的元素的数组,当元素数不足八个时,数据补全算法会自动复制最后一个元素补充,通过这种方式,解决了高摄食强度下由于追踪效果差出现的特征值缺失问题,同时增加了坐标点的聚集程度,强化了高摄食强度下鱼群空间位置高度聚集的特征,补全后的文件保存为.json格式;
结合Overli提出的4步分级表与实际养殖过程中观察的鱼群摄食情况,将鱼群摄食强度分为了强、中、弱三个等级,如表2所示:
表2
Figure 855812DEST_PATH_IMAGE002
根据每个视频片段中鱼群的摄食状态在对应的.json文件中输入摄食强度信息(strong、mid、weak),并转换成适合st-gcn输入的.npy和.pkl文件。
修改st-gcn的网络结构,由于鱼类之间存在着社会关系,因此每个节点之间边的连接方式设置为各节点之间均存在一条无向边进行连接,故在graph.py文件中增加一个layout部分,用于使st-gcn可以适应鱼群结构的八节点边连接方式,将数据输入st-gcn训练,保存训练好的模型文件。
将视频文件进行鱼群结构信息提取,并将提取的数据输入模型中,即可对鱼群摄食强度进行预测。
本实施例提出的一种基于YOLOv5-deepsort和st-gcn的鱼群摄食强度预测方法,分为特征提取部分和食欲分析部分,可以将鱼群摄食行为图抽象成由点和边组成,形成在时间序列中的拓扑结构图,如图3所示,其中,拓扑图中节点的特征信息被表征为300个被特征提取器跟踪并提取出的数组,数组中包含有8个一一对应的鱼类个体的空间位置坐标,各节点之间均存在一条无向边连接,以此来实现鱼群在空间位置与时间序列上特征的融合,并通过对图结构的分析,对鱼群的摄食强度进行精准的评估,避免了单独使用某一特征而出现弊端。
本实施例的预测方法在中、弱摄食强度等级的数据集上提高了鱼群的跟踪准确率,并能够对高摄食等级下的鱼群特征信息的缺失值进行补全,实现了特征增强;同时,本实施例提出的鱼群摄食强度预测模型相比于resnet(74.06%)和lstm(86.63%)模型的准确率仅经过265个时间长度为5秒的鱼类摄食行为影像的训练后便达到了94.44%,分别提高了20.38%和7.81%,因此,该鱼类摄食强度预测模型在拥有更高准确率的同时,还大大降低了训练所需的数据量。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于ST-GCN的鱼群摄食强度预测方法,其特征在于,包括以下步骤:
构建特征提取模型并进行训练,将鱼群摄食行为视频图像输入到训练后的特征提取模型中进行时空特征提取,获得鱼群个体与时间序列一一对应的空间位置信息;
获取摄食强度信息,基于所述摄食强度信息为所述空间位置信息做数据标注,获得标注后的空间位置信息;
构建初始摄食强度预测模型,基于所述标注后的空间位置信息对所述初始摄食强度预测模型进行训练,获得目标摄食强度预测模型,基于所述目标摄食强度预测模型对鱼群的摄食强度进行预测;
基于所述摄食强度信息为所述空间位置信息做数据标注之前还包括:所述空间位置信息均包括预设数量的按跟踪序号排列的元素,当实际获得的空间位置信息的元素数小于预设数量时,基于数据补全算法自动复制最后一个元素对所述实际获得的空间位置信息进行补充。
2.根据权利要求1所述的基于ST-GCN的鱼群摄食强度预测方法,其特征在于,
对鱼群摄食行为视频图像进行特征提取之前还包括:预设视频长度,将所述视频图像划分为满足预设视频长度的片段,获得鱼群摄食行为的数据集。
3.根据权利要求2所述的基于ST-GCN的鱼群摄食强度预测方法,其特征在于,
对特征提取模型进行训练的过程包括:对所述数据集中的鱼群每个个体的头部进行标注,获得标注后的数据集,并将所述标注后的数据集输入到所述特征提取模型中进行训练。
4.根据权利要求3所述的基于ST-GCN的鱼群摄食强度预测方法,其特征在于,
进行时空特征提取的过程包括:截取鱼群中每个个体的头部图像并输入到训练后的特征提取模型中,获得鱼群中每个个体的头部权重;基于所述头部权重,对数据集中的鱼群每个个体的头部进行追踪,获得鱼群中每个个体与时间序列一一对应的空间位置信息。
5.根据权利要求1所述的基于ST-GCN的鱼群摄食强度预测方法,其特征在于,
构建初始摄食强度预测模型的过程包括:将ST-GCN的网络结构修改成八节点边的连接方式,基于修改后的ST-GCN网络构建初始摄食强度预测模型。
CN202310009858.3A 2023-01-05 2023-01-05 一种基于st-gcn的鱼群摄食强度预测方法 Active CN115690570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310009858.3A CN115690570B (zh) 2023-01-05 2023-01-05 一种基于st-gcn的鱼群摄食强度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310009858.3A CN115690570B (zh) 2023-01-05 2023-01-05 一种基于st-gcn的鱼群摄食强度预测方法

Publications (2)

Publication Number Publication Date
CN115690570A CN115690570A (zh) 2023-02-03
CN115690570B true CN115690570B (zh) 2023-03-28

Family

ID=85057194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310009858.3A Active CN115690570B (zh) 2023-01-05 2023-01-05 一种基于st-gcn的鱼群摄食强度预测方法

Country Status (1)

Country Link
CN (1) CN115690570B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953725B (zh) * 2023-03-14 2023-05-30 浙江大学 一种基于深度学习的鱼卵自动计数系统及其计数方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020164282A1 (zh) * 2019-02-14 2020-08-20 平安科技(深圳)有限公司 基于yolo的图像目标识别方法、装置、电子设备和存储介质
CN112800994A (zh) * 2021-02-03 2021-05-14 中国农业大学 鱼群摄食行为识别方法、装置、电子设备和存储介质
CN114451338A (zh) * 2021-12-29 2022-05-10 北京市农林科学院信息技术研究中心 鱼群的摄食强度分级方法、装置及智能调速投饲机
CN114596625A (zh) * 2022-01-11 2022-06-07 浙江工业大学 一种基于边缘计算的鱼群轨迹监测系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4298994B2 (ja) * 2002-12-25 2009-07-22 日本農産工業株式会社 機能性飼料
CN109816732B (zh) * 2018-12-29 2020-12-11 百度在线网络技术(北京)有限公司 标定方法、标定系统、矫正方法、矫正系统及车辆
JP6773829B2 (ja) * 2019-02-21 2020-10-21 セコム株式会社 対象物認識装置、対象物認識方法、及び対象物認識プログラム
CN111476289B (zh) * 2020-04-03 2024-04-19 江苏提米智能科技有限公司 一种基于特征库的鱼群识别方法、装置、设备及存储介质
CN112287913B (zh) * 2020-12-25 2021-04-06 浙江渔生泰科技有限公司 一种鱼类视频识别的智能监管系统
CN112887285B (zh) * 2021-01-15 2022-03-11 中国科学院地理科学与资源研究所 一种跨空间图层映射的网络行为智能画像分析方法
CN114002686A (zh) * 2021-10-29 2022-02-01 中国科学院水生生物研究所 一种水声学探测与拖网采样相结合的鱼类资源调查方法
CN114612454A (zh) * 2022-03-21 2022-06-10 玉林师范学院 一种鱼类摄食状态检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020164282A1 (zh) * 2019-02-14 2020-08-20 平安科技(深圳)有限公司 基于yolo的图像目标识别方法、装置、电子设备和存储介质
CN112800994A (zh) * 2021-02-03 2021-05-14 中国农业大学 鱼群摄食行为识别方法、装置、电子设备和存储介质
CN114451338A (zh) * 2021-12-29 2022-05-10 北京市农林科学院信息技术研究中心 鱼群的摄食强度分级方法、装置及智能调速投饲机
CN114596625A (zh) * 2022-01-11 2022-06-07 浙江工业大学 一种基于边缘计算的鱼群轨迹监测系统

Also Published As

Publication number Publication date
CN115690570A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN111178197B (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
Maheswari et al. Intelligent fruit yield estimation for orchards using deep learning based semantic segmentation techniques—a review
Kuznichov et al. Data augmentation for leaf segmentation and counting tasks in rosette plants
Xu et al. Learning-based shadow recognition and removal from monochromatic natural images
CN113191222B (zh) 水下鱼类目标检测方法及装置
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
Yu et al. An object-based visual attention model for robotic applications
CN109325495A (zh) 一种基于深度神经网络建模的作物图像分割系统及方法
Lainez et al. Automated fingerlings counting using convolutional neural network
CN113592896B (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN115690570B (zh) 一种基于st-gcn的鱼群摄食强度预测方法
Roggiolani et al. Hierarchical approach for joint semantic, plant instance, and leaf instance segmentation in the agricultural domain
CN114092699B (zh) 基于迁移学习的群猪图像分割的方法及系统
Liu et al. A multitask model for realtime fish detection and segmentation based on YOLOv5
CN117611636B (zh) 一种鱼类跟踪方法和系统
Zhu et al. Automated chicken counting using yolo-v5x algorithm
Guo et al. An improved YOLO v4 used for grape detection in unstructured environment
Siripattanadilok et al. Recognition of partially occluded soft-shell mud crabs using Faster R-CNN and Grad-CAM
Rizvi et al. Revolutionizing agriculture: Machine and deep learning solutions for enhanced crop quality and weed control
Krosney et al. Inside out: transforming images of lab-grown plants for machine learning applications in agriculture
Chen et al. A method for detecting the death state of caged broilers based on improved Yolov5
CN113160108B (zh) 一种少样本多类饵料的顺序查询计数方法
Li et al. Weed density detection method based on a high weed pressure dataset and improved psp net
Bozek et al. Pixel personality for dense object tracking in a 2D honeybee hive

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230203

Assignee: Qingdao Blue Valley Kunpeng Marine Technology Co.,Ltd.

Assignor: YELLOW SEA FISHERIES Research Institute CHINESE ACADEMY OF FISHERY SCIENCES

Contract record no.: X2023370010034

Denomination of invention: A prediction method for fish feeding intensity based on ST-GCN

Granted publication date: 20230328

License type: Common License

Record date: 20231225