CN115578423A - 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统 - Google Patents

基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统 Download PDF

Info

Publication number
CN115578423A
CN115578423A CN202211054582.2A CN202211054582A CN115578423A CN 115578423 A CN115578423 A CN 115578423A CN 202211054582 A CN202211054582 A CN 202211054582A CN 115578423 A CN115578423 A CN 115578423A
Authority
CN
China
Prior art keywords
detection
fish
key point
individual
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211054582.2A
Other languages
English (en)
Inventor
周显锞
查良瑜
黄清仪
袁静
赵俊博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dayu Technology Huzhou Co ltd
Original Assignee
Dayu Technology Huzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dayu Technology Huzhou Co ltd filed Critical Dayu Technology Huzhou Co ltd
Priority to CN202211054582.2A priority Critical patent/CN115578423A/zh
Publication of CN115578423A publication Critical patent/CN115578423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Abstract

本发明公开了一种基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统，本发明能够将在养殖、实验环境下拍摄的实时监控视频输入，通过深度网络进行特征提取，完成个体检测框和关键点定位；基于卡尔曼滤波和匈牙利匹配算法进行个体追踪，输出鱼类个体的编号；由鱼类各个关键点在图像中的位置变化，进行生物量估算，可实现端到端的鱼类生物量实时估算，为鱼类养殖精准投喂提供科学依据。

Description

基于深度学习的鱼类关键点检测、个体追踪和生物量估算方 法及系统
技术领域
本发明涉及渔业养殖领域，具体涉及一种基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统。
背景技术
近年来随着国家经济的蓬勃发展，水产养殖业市场规模增长迅速，然而由于现代信息技术在该行业普及程度较低，大多规模化以上的养殖企业却仍然采用落后的人工捕捞抽样的方法对养殖鱼的生物量、养殖状态来进行估算。
现有的人工抽样捕捞估算养殖鱼生物量和观察养殖状态的方法，过程繁琐，在抽样称重或观察时不可避免地会对某些个体造成损伤。抽样数量的限制以及过程的繁琐，使得对养殖鱼生物总量的估算以及养殖状态的估计过于粗放，无法及时地了解当前养殖鱼群的生长状态、评估每日饲料投喂总量的合理性，难以实现精细养殖。同时，基于深度学习的鱼类个体检测和追踪技术在海洋渔业、养殖行业内已有应用，如近海鱼类检测(CN202110232509)和跟踪统计(CN202111351206)。这些算法的问题在于，它们均只进行个体检测和追踪，最终只能粗略地实现个体数量的统计，并不能提取诸如鱼类个体关键点位如鱼头、鱼眼、鱼鳍、鱼身、鱼尾等关键点位置信息，难以满足诸如尺寸估算、质量估算等更精细化的生物量估算需求。
发明内容
本发明的目的在于针对现有人工抽样养殖鱼生物量估算方法以及鱼类检测、追踪方法的不足，通过深度学习模型，实现端到端的个体关键点检测、追踪，结合一套生物量估算的方法(如个体质量估算)，实现实时的养殖鱼群生物总量估算。
为了解决上述现有技术的不足之处，本发明提供了以下技术方案：
一种基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法，包括以下步骤：
步骤一：获取待检测的鱼类监控视频，所述鱼类监控视频由多帧鱼类监控视频图像组成；将多帧鱼类监控视频图像一一输入训练好的鱼类关键点检测模型中，所述鱼类关键点检测模型由用于提取输入图像特征的主干网络、用于提取多尺度的特征信息的FPN网络、用于获取更多的网络上下文特征信息的多个SSH模块及检测头组成，所述检测头包括框检测头、关键点检测头和类别检测头，分别对应输出每一输入图像的多个实际目标检测框、关键点位置和检测置信度，再通过非极大值抑制算法和预先设置的置信度阈值对输出的检测结果进行过滤，最终获得准确的实际目标检测框、关键点和检测置信度信息；
步骤二：利用卡尔曼滤波算法和匈牙利匹配算法分别对多帧鱼类监控视频图像进行个体运动预测和数据关联匹配，给每个鱼类监控视频中检测到的鱼类个体打上ID标签；
步骤三：根据获得的关键点位置信息，计算对应鱼类个体的生物量指标；所述生物量指标包括：鱼类个体尺寸、鱼类个体质量。
进一步地，还包括步骤四：提取步骤三最终输出的位置、关键点、置信度、类别、个体ID和生物量指标，在原有视频上进行后处理标注，并实时展示。
进一步地，所述主干网络结构为RESNET50或MobileNET-V3。
进一步地，所述鱼类关键点检测模型在训练时，为检测部分模型的真实标注的检测框/先验检测框匹配提出了一套验证可用的策略机制，具体为：采用Jaccard Overlap算法计算的交并比值作为核心指标对真实标注的检测框和先验检测框进行匹配：
根据如下公式计算交并比：
Figure BDA0003824460590000021
其中，在此场景下，A表示先验检测框，B表示真实标注的检测框。
依据交并比寻找每一个与真实标注的检测框有最大交并比值的先验检测框，保证每一个真实标注的检测框一定与一个先验检测框对应起来。如果一个先验检测框没有和任何真实标注的检测框相匹配，那么该先验检测框只能与背景匹配，置为负样本，被过滤去除；
每个先验检测框最多只能与一个真实标注的检测框匹配，且必须是IOU值大于阈值且最大的那一组。
进一步地，所述步骤一中，所述鱼类关键点检测模型是基于采集的鱼类监控视频图像作为训练数据，通过构建损失函数进行训练获得，所述损失函数表示如下：
Figure BDA0003824460590000022
其中，λ1、λ2、λ3是权重；Lcls(pi,pi *)表示鱼的分类损失；
pi表示第i个实际目标检测框中有鱼的概率，pi *表示真实的概率，正样本对应pi *＝1，负样本对应pi *＝0；
Lbox(ti,ti *)表示检测框位置回归损失；ti＝(tx,ty,tw,th)i，
Figure BDA0003824460590000023
分别表示第i个实际目标检测框位置和真实标注的检测框的位置，tx,ty表示检测框的中心坐标，tw,th表示检测框的宽度和高度；将检测框回归预测值进行归一化并使用
Figure BDA0003824460590000024
Figure BDA0003824460590000025
表示smooth_L1鲁棒性回归函数，具体如下：
Figure BDA0003824460590000031
其中，x表示损失函数的输入，在该场景下是实际目标检测框和真实标注的检测框位置的偏离量的归一化数值。
Figure BDA0003824460590000032
表示鱼类关键点回归损失；
Figure BDA0003824460590000033
分别表示第i个实际目标检测框中鱼类关键点的预测值和真值，
Figure BDA0003824460590000034
表示第j个关键点的坐标，n表示关键点的数量；
其中，Lpixel表示密集回归损失，计算公式如下：
Figure BDA0003824460590000035
式中，DPst是像素级别的颜色网格，Pcam是摄像机相关参数，Pill是照明(对比度)参数，
Figure BDA0003824460590000036
表示模型预测的图像每一个像素点数值，R(*)表示图像像素分布函数，||*||1表示L1范数。
进一步地，所述步骤三中，鱼类个体尺寸通过如下方法获得：根据获得的关键点信息，结合测距摄像头位置，计算鱼类个体尺寸大小；
所述鱼类个体质量通过如下方法获得：通过拟合好的体重-尺寸公式计算获得鱼个体质量M，具体如下所示：
M＝f(ysize)
其中，ysize为通过关键点位置估算的鱼类个体尺寸数值，f(*)为拟合好的体重-尺寸公式。
一种基于深度学习的鱼类关键点检测、个体追踪和生物量估算系统，包括：
检测模块，用于获取待检测的鱼类监控视频，所述鱼类监控视频由多帧鱼类监控视频图像组成；将多帧鱼类监控视频图像一一输入训练好的鱼类关键点检测模型中，所述鱼类关键点检测模型由用于提取输入图像特征的主干网络、用于提取多尺度的特征信息的FPN网络、用于获取更多的网络上下文特征信息的多个SSH模块及检测头组成，所述检测头包括框检测头、关键点检测头和类别检测头分别对应输出每一输入图像的多个实际目标检测框、关键点位置和检测置信度，再通过非极大值抑制算法和预先设置的置信度阈值对输出的检测结果进行过滤，最终获得准确的实际目标检测框、关键点和检测置信度信息。
追踪模块，用于利用卡尔曼滤波算法和匈牙利匹配算法分别对多帧鱼类监控视频图像进行个体运动预测和数据关联匹配，给每个鱼类监控视频中检测到的鱼类个体打上ID标签；
生物量估算模块，用于根据获得的关键点位置信息，以及图像视频每一帧的位移信息，计算对应鱼类个体的生物量指标。
进一步地，还包括可视化模块，用于提取最终输出的位置、关键点、置信度、类别、个体ID和生物量指标，在原有视频上进行后处理标注，并实时展示。
本发明的有益效果是：本发明可实现端到端的鱼类生物量实时估算，为鱼类养殖精准投喂提供科学依据。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的追踪、检测结果后处理、可视化样例图；
图2为本发明实施例提供的从训练到实际部署检测、追踪、生物量估算方法的流程图；
图3为本发明实施例提供的基于FPN和SSH结构的神经网络结构示意图；
图4为本发明实施例提供的训练图片标注样本示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实例提供一种基于深度学习的鱼类关键点检测、追踪和生物量估算方法，应用于鱼类精细化养殖水平提升。该方法实例的实现基于以下几个步骤：
1)模型搭建
本发明采用的鱼类关键点检测模型结构是基于如附图3所示的神经网络结构，该神经网络具体包括用于提取输入图像特征的主干网络、用于提取多尺度的特征信息的FPN(Feature Pyramid Network)、用于获取更多的网络上下文特征信息的多个SSH(SingleStage Headless)及检测头，该结构采用FPN与多个SSH级联的结构对主干网络输出的特征向量进行进一步的特征融合并实现多尺度特征输出，提高深度神经网络对大、中、小三个尺度目标的检测效果。基于本发明检测的任务，深度学习模型的检测头(DetectHead)根据不同的检测输出目标拆分为类别检测头ClassHead、框检测头BboxHead和关键点检测头LandMarksHead。每个检测头的输入均是上述多个SSH模块输出特征向量的集合，以三个SSH模块为例，其输出特征向量的集合表示为[featuremap1,featuremap2,featuremap3]；对应地，框检测头BboxHead、关键点检测头LandMarksHead和类别检测头ClassHead分别输出的是多个先验检测框PriorBox中实际目标检测框、关键点位置和检测置信度。
2)样本标注
采集鱼类监控视频，对鱼类监控视频的图像根据检测关键点数量以及检测鱼种类的不同，需要对应标注样本，如图4，是以鱼头、鱼身、鱼尾三个关键点检测的样本标注方式。
3)数据前处理
为更好地训练检测模型，同时获得良好的检测效果，在训练阶段，会对图片数据进行裁剪(Crop)、尺寸修正(Resize)、填充成正方形(Pad_to_square)和图像畸变(Distort)等数据增强处理；在检测阶段，考虑到图片中目标大小和模型感受野的适配问题，将检测图像尺寸固定缩放为640*640。
4)鱼类关键点检测模型训练
将每一样本作为步骤1)构建的模型的输入，基于不同检测任务构建多任务损失函数，以最小化多任务损失函数为目标对模型进行训练，获得训练好的鱼类关键点检测模型；其中，主干神经网络可以采用已经预训练好的主干神经网络(如上述Resnet50)，在预训练好的主干神经网络上进行进一步训练对其权重参数进行精调。多任务损失函数主要包括鱼的分类损失、检测框位置回归损失、鱼类关键点回归损失等，示例性地，多任务损失函数表示如下：
Figure BDA0003824460590000051
其中，λ1、λ2、λ3是权重；Lcls(pi,pi *)表示鱼的分类损失。
进一步的，pi表示第i个实际目标检测框(anchor)中有鱼的概率，pi *表示真实的概率，正样本anchor中对应pi *＝1，负样本anchor对应pi *＝0，损失类型可以采用softmax交叉熵损失函数等；
其中，Lbox(ti,ti *)表示检测框位置回归损失。
进一步的，ti＝(tx,ty,tw,th)i，
Figure BDA0003824460590000052
分别表示与正样本检测框对应的第i个实际目标检测框位置和真实标注的检测框的位置。tx,ty表示检测框的中心坐标，tw,th表示检测框的宽度和高度。将检测框回归预测目标归一化并使用
Figure BDA0003824460590000061
Figure BDA0003824460590000062
表示smooth_L1鲁棒性回归函数，具体如下：
Figure BDA0003824460590000063
其中，x表示损失函数的输入，在该场景下是实际目标检测框和真实标注的检测框位置的偏离量的归一化数值。
其中，
Figure BDA0003824460590000064
表示鱼类关键点回归损失。
进一步的，
Figure BDA0003824460590000065
分别表示第i个正样本实际目标检测框中鱼类关键点的预测值和真值，
Figure BDA0003824460590000066
表示第j个关键点的坐标，n表示关键点的数量，例如，包括鱼头、鱼身(鱼鳍)、鱼尾等。和检测框box回归一致，会采用目标归一化操作。
其中，Lpixel表示密集回归损失，计算公式如下：
Figure BDA0003824460590000067
式中，DPst是像素级别的颜色网格，Pcam是摄像机相关参数，Pill照明(对比度)参数，
Figure BDA0003824460590000068
表示模型预测的图像每一个像素点数值，R(*)表示图像像素分布函数，||*||1表示L1范数。
进一步地，所述鱼类关键点检测模型在训练时，为检测部分模型的真实标注的检测框/先验检测框匹配提出了一套验证可用的策略机制，具体为：采用Jaccard Overlap算法计算的交并比值作为核心指标对真实标注的检测框和先验检测框进行匹配：
根据如下公式计算交并比：
Figure BDA0003824460590000069
其中，在此场景下，A表示先验检测框，B表示真实标注的检测框。
依据交并比寻找每一个与真实标注的检测框有最大交并比值的先验检测框，保证每一个真实标注的检测框一定与一个先验检测框对应起来。如果一个先验检测框没有和任何真实标注的检测框相匹配，那么该先验检测框只能与背景匹配，置为负样本，被过滤去除；
每个先验检测框最多只能与一个真实标注的检测框匹配，且必须是IOU值大于阈值且最大的那一组。
基于上述训练好的鱼类关键点检测模型，即可实现本发明的一种基于深度学习的鱼类关键点检测、追踪和生物量估算方法，包括以下步骤：
步骤1.获取待检测的鱼类监控视频(包含多帧图像)，将已经经过前处理的鱼类监控视频图像(图像默认转换为640*640)输入到训练好的的训练好的鱼类关键点检测模型，该网络的检测头有三部分输出，分别代表对于分类、检测框位置和关键点位置在各个先验检测框(PriorBox)中的预测值。将以上输出合并为一个向量，通过非极大值抑制算法(Non-Maximum Suppression)，设定一个合适的交并比IOU阈值，即可获得较为准确的检测框、关键点位置和置信度结果。步骤2.分别采用卡尔曼滤波算法和匈牙利匹配算法解决个体的运动状态预测问题和数据关联匹配问题。个体追踪部分算法会实时地为每个检测到的个体赋予一个数字ID，保证在连续的待检测的鱼类监控视频图像中，检测的个体一一对应。
步骤3.根据检测部分获得的关键点位置信息，以及视频每一帧图像的位移信息，计算对应鱼个体的生物量指标。对应鱼个体的生物量指标包括基于关键点获得的鱼个体尺寸、鱼个体质量等。一般地，可通过同一个体关键点位置结合测距摄像头位置计算个体的尺寸大小，鱼个体质量估算可通过事先拟合好的尺寸—质量关系公式获得鱼个体质量估算M，具体如下所示：
M＝f(ysize)
其中，ysize为通过关键点位置估算的鱼类个体尺寸数值，f(*)为拟合好的体重-尺寸公式。
进一步地，还包括步骤4.将通过检测部分、追踪部分和生物量估算部分得到的检测框、关键点、追踪ID和生物量估算值标注在鱼类监控视频图像上，如图1所示，标注数字从前到后分别表示追踪个体ID、鱼类别、个体重量。
进一步地，还可以同时将每一帧图像结果以.txt文件形式保存，留以后续其他相关分析使用(如总量统计或鱼类个体运动轨迹分析等)。
与前述基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法的实施例相对应，本发明还提供了基于深度学习的鱼类关键点检测、个体追踪和生物量估算装置的实施例。
本发明的一种基于深度学习的鱼类关键点检测、个体追踪和生物量估算系统，包括：
检测模块，用于获取待检测的鱼类监控视频，所述鱼类监控视频由多帧鱼类监控视频图像组成；将多帧鱼类监控视频图像一一输入训练好的鱼类关键点检测模型中，所述鱼类关键点检测模型由用于提取输入图像特征的主干网络、用于提取多尺度的特征信息的FPN网络、用于获取更多的网络上下文特征信息的多个SSH模块及检测头组成，所述检测头包括框检测头、关键点检测头和类别检测头分别对应输出每一输入图像的多个实际目标检测框、关键点位置和检测置信度，再通过非极大值抑制算法和预先设置的置信度阈值对输出的检测结果进行过滤，最终获得准确的实际目标检测框、关键点和检测置信度信息。
追踪模块，用于利用卡尔曼滤波算法和匈牙利匹配算法分别对多帧鱼类监控视频图像进行个体运动预测和数据关联匹配，给每个鱼类监控视频中检测到的鱼类个体打上ID标签；
生物量估算模块，用于根据获得的关键点位置信息，以及图像视频每一帧的位移信息，计算对应鱼类个体的生物量指标。
进一步地，还包括可视化模块，用于提取最终输出的位置、关键点、置信度、类别、个体ID和生物量指标，在原有视频上进行后处理标注，并实时展示。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (8)

1.一种基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法，其特征在于，包括以下步骤：
步骤一：获取待检测的鱼类监控视频，所述鱼类监控视频由多帧鱼类监控视频图像组成；将多帧鱼类监控视频图像一一输入训练好的鱼类关键点检测模型中，所述鱼类关键点检测模型由用于提取输入图像特征的主干网络、用于提取多尺度的特征信息的FPN网络、用于获取更多的网络上下文特征信息的多个SSH模块及检测头组成，所述检测头包括框检测头、关键点检测头和类别检测头，分别对应输出每一输入图像的多个实际目标检测框、关键点位置和检测置信度，再通过非极大值抑制算法和预先设置的置信度阈值对输出的检测结果进行过滤，最终获得准确的实际目标检测框、关键点和检测置信度信息；
步骤二：利用卡尔曼滤波算法和匈牙利匹配算法分别对多帧鱼类监控视频图像进行个体运动预测和数据关联匹配，给每个鱼类监控视频中检测到的鱼类个体打上ID标签；
步骤三：根据获得的关键点位置信息，计算对应鱼类个体的生物量指标；所述生物量指标包括：鱼类个体尺寸、鱼类个体质量。
2.根据权利要求1所述的方法，其特征在于，还包括步骤四：提取步骤三最终输出的位置、关键点、置信度、类别、个体ID和生物量指标，在原有视频上进行后处理标注，并实时展示。
3.根据权利要求1所述的方法，其特征在于，所述主干网络结构为RESNET50或MobileNET-V3。
4.根据权利要求1所述的方法，其特征在于，所述步骤一中，所述鱼类关键点检测模型是基于采集的鱼类监控视频图像作为训练数据，通过构建损失函数进行训练获得，所述损失函数表示如下：
MultiLoss＝Lcls(pi,pi *)+λ1pi *Lbox(ti,ti *)+λ2pi *Lpts(li,li *)+λ3pi *Lpixel
其中，λ1、λ2、λ3是权重；Lcls(pi,pi *)表示鱼的分类损失；
pi表示第i个实际目标检测框中有鱼的概率，pi *表示真实的概率，正样本对应pi *＝1，负样本对应pi *＝0；
Lbox(ti,ti *)表示检测框位置回归损失；ti＝(tx,ty,tw,th)i，
Figure FDA0003824460580000011
分别表示第i个实际目标检测框位置和真实标注的检测框的位置，tx,ty表示检测框的中心坐标，tw,th表示检测框的宽度和高度；将检测框位置回归预测值进行归一化并使用
Figure FDA0003824460580000012
Figure FDA0003824460580000013
表示smooth_L1鲁棒性回归函数，具体如下：
Figure FDA0003824460580000021
其中，x表示损失函数的输入，在该场景下是实际目标检测框和真实标注的检测框位置的偏离量的归一化数值。
Figure FDA0003824460580000022
表示鱼类关键点回归损失；
Figure FDA0003824460580000023
分别表示第i个实际目标检测框中鱼类关键点的预测值和真值，
Figure FDA0003824460580000024
表示第j个关键点的坐标，n表示关键点的数量；
其中，Lpixel表示密集回归损失，计算公式如下：
Figure FDA0003824460580000025
式中，DPst是像素级别的颜色网格，Pcam是摄像机相关参数，Pill是照明(对比度)参数，
Figure FDA0003824460580000026
表示模型预测的图像每一个像素点数值，R(*)表示图像像素分布函数，||*||1表示L1范数。
5.根据权利要求1所述的方法，其特征在于，所述鱼类关键点检测模型在训练时，为检测部分模型的真实标注的检测框/先验检测框匹配提出了一套验证可用的策略机制，具体为：采用Jaccard Overlap算法计算的交并比值作为核心指标对真实标注的目标检测框和先验检测框进行匹配：
根据如下公式计算交并比：
Figure FDA0003824460580000027
其中，在此场景下，A表示先验检测框，B表示真实标注的检测框。
依据交并比寻找每一个与真实标注的检测框有最大交并比值的先验检测框，保证每一个真实标注的检测框一定与一个先验检测框对应起来。如果一个先验检测框没有和任何真实标注的检测框相匹配，那么该先验检测框只能与背景匹配，置为负样本，被过滤去除；
每个先验检测框最多只能与一个真实标注的检测框匹配，且必须是IOU值大于阈值且最大的那一组。
6.根据权利要求1所述的方法，其特征在于，所述步骤三中，鱼类个体尺寸通过如下方法获得：根据获得的关键点信息，结合测距摄像头位置，计算鱼类个体尺寸大小；
所述鱼类个体质量通过如下方法获得：通过拟合好的体重-尺寸公式计算获得鱼个体质量M，具体如下所示：
M＝f(ysize)
其中，ysize为通过关键点位置估算的鱼类个体尺寸数值，f(*)为拟合好的体重-尺寸公式。
7.一种基于深度学习的鱼类关键点检测、个体追踪和生物量估算系统，其特征在于，包括：
检测模块，用于获取待检测的鱼类监控视频，所述鱼类监控视频由多帧鱼类监控视频图像组成；将多帧鱼类监控视频图像一一输入训练好的鱼类关键点检测模型中，所述鱼类关键点检测模型由用于提取输入图像特征的主干网络、用于提取多尺度的特征信息的FPN网络、用于获取更多的网络上下文特征信息的多个SSH模块及检测头组成，所述检测头包括框检测头、关键点检测头和类别检测头分别对应输出每一输入图像的多个实际目标检测框、关键点位置和检测置信度，再通过非极大值抑制算法和预先设置的置信度阈值对输出的检测结果进行过滤，最终获得准确的实际目标检测框、关键点和检测置信度信息。
追踪模块，用于利用卡尔曼滤波算法和匈牙利匹配算法分别对多帧鱼类监控视频图像进行个体运动预测和数据关联匹配，给每个鱼类监控视频中检测到的鱼类个体打上ID标签；
生物量估算模块，用于根据获得的关键点位置信息，以及图像视频每一帧的位移信息，计算对应鱼类个体的生物量指标。
8.根据权利要求7所述的系统，其特征在于，还包括可视化模块，用于提取最终输出的位置、关键点、置信度、类别、个体ID和生物量指标，在原有视频上进行后处理标注，并实时展示。
CN202211054582.2A 2022-08-31 2022-08-31 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统 Pending CN115578423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211054582.2A CN115578423A (zh) 2022-08-31 2022-08-31 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211054582.2A CN115578423A (zh) 2022-08-31 2022-08-31 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统

Publications (1)

Publication Number Publication Date
CN115578423A true CN115578423A (zh) 2023-01-06

Family

ID=84578654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211054582.2A Pending CN115578423A (zh) 2022-08-31 2022-08-31 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统

Country Status (1)

Country Link
CN (1) CN115578423A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117029673A (zh) * 2023-07-12 2023-11-10 中国科学院水生生物研究所 一种基于人工智能实现的鱼类体表多尺寸测量方法
CN117292305A (zh) * 2023-11-24 2023-12-26 中国科学院水生生物研究所 鱼类受精卵胎动次数确定方法、系统、电子设备及介质
CN117029673B (zh) * 2023-07-12 2024-05-10 中国科学院水生生物研究所 一种基于人工智能实现的鱼类体表多尺寸测量方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117029673A (zh) * 2023-07-12 2023-11-10 中国科学院水生生物研究所 一种基于人工智能实现的鱼类体表多尺寸测量方法
CN117029673B (zh) * 2023-07-12 2024-05-10 中国科学院水生生物研究所 一种基于人工智能实现的鱼类体表多尺寸测量方法
CN117292305A (zh) * 2023-11-24 2023-12-26 中国科学院水生生物研究所 鱼类受精卵胎动次数确定方法、系统、电子设备及介质
CN117292305B (zh) * 2023-11-24 2024-02-20 中国科学院水生生物研究所 鱼类受精卵胎动次数确定方法、系统、电子设备及介质

Similar Documents

Publication Publication Date Title
Yang et al. Computer vision models in intelligent aquaculture with emphasis on fish detection and behavior analysis: a review
Zhou et al. Evaluation of fish feeding intensity in aquaculture using a convolutional neural network and machine vision
Jia et al. Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot
CN113537106B (zh) 一种基于YOLOv5的鱼类摄食行为识别方法
Tseng et al. Detecting and counting harvested fish and identifying fish types in electronic monitoring system videos using deep convolutional neural networks
CN112598713A (zh) 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN107292298A (zh) 基于卷积神经网络和分类器模型的牛脸识别方法
CN105654141A (zh) 基于Isomap和SVM算法的俯视群养猪个体识别方法
CN113591671B (zh) 一种基于Mask-Rcnn识别鱼类生长检测方法
CN113592896B (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
US20210383149A1 (en) Method for identifying individuals of oplegnathus punctatus based on convolutional neural network
Rong et al. Pest identification and counting of yellow plate in field based on improved mask r-cnn
Olsvik et al. Biometric fish classification of temperate species using convolutional neural network with squeeze-and-excitation
Luo et al. Automatic fish recognition and counting in video footage of fishery operations
CN115578423A (zh) 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统
CN114092699A (zh) 基于迁移学习的群猪图像分割的方法及系统
CN112070181A (zh) 一种基于图像流的协同检测方法及装置、存储介质
McLeay et al. Deep convolutional neural networks with transfer learning for waterline detection in mussel farms
CN114037737B (zh) 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法
CN113284164A (zh) 虾群自动计数方法、装置、电子设备及存储介质
CN114596584A (zh) 海洋生物智能检测识别方法
WO2022171267A1 (en) System, method, and computer executable code for organism quantification
Lin et al. A Real-Time Counting Method of Fish based on the Instance Segmentation
Muri et al. Temperate fish detection and classification: A deep learning based approach
Yu et al. An automatic detection and counting method for fish lateral line scales of underwater fish based on improved YOLOv5

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination