CN117611636B - 一种鱼类跟踪方法和系统 - Google Patents
一种鱼类跟踪方法和系统 Download PDFInfo
- Publication number
- CN117611636B CN117611636B CN202410089624.9A CN202410089624A CN117611636B CN 117611636 B CN117611636 B CN 117611636B CN 202410089624 A CN202410089624 A CN 202410089624A CN 117611636 B CN117611636 B CN 117611636B
- Authority
- CN
- China
- Prior art keywords
- fish
- result matrix
- tracking result
- coordinates
- ids
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 241000251468 Actinopterygii Species 0.000 claims abstract description 110
- 238000012937 correction Methods 0.000 claims abstract description 82
- 239000011159 matrix material Substances 0.000 claims description 68
- 238000001514 detection method Methods 0.000 claims description 23
- 230000001174 ascending effect Effects 0.000 claims description 18
- 230000001502 supplementing effect Effects 0.000 claims description 15
- 238000012217 deletion Methods 0.000 claims description 8
- 230000037430 deletion Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000012258 culturing Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241001239379 Calophysus macropterus Species 0.000 description 1
- SFRALHFBKRAJPW-UHFFFAOYSA-N IDFP Chemical compound CCCCCCCCCCCCP(F)(=O)OC(C)C SFRALHFBKRAJPW-UHFFFAOYSA-N 0.000 description 1
- 241000192710 Microcystis aeruginosa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004634 feeding behavior Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种鱼类跟踪方法和系统,包括以下步骤:步骤S1、获取鱼群图像;步骤S2、将鱼群图像输入到修正网络结构中进行鱼类跟踪;其中,所述修正网络结构用于当前帧中跟踪输出的ID数量与鱼群数目不符或ID数字大于鱼群数目时进行跟踪修正。采用本发明的技术方案,提高复杂场景下鱼类跟踪的性能。
Description
技术领域
本发明属于鱼类智能跟踪技术领域,尤其涉及一种鱼类跟踪方法和系统。
背景技术
鱼类行为学是研究鱼类在自然和人工环境中的行为特征、规律和机制的科学。随着深度学习技术的发展,其在鱼类行为学的应用也越来越多,例如,利用深度学习技术对鱼类的运动轨迹、群体行为、摄食行为、生殖行为等进行分析和预测,从而为鱼类的保护、养殖、捕捞等提供科学依据和技术支持。
基于目标检测的跟踪算法是一种常用的鱼类跟踪技术,其基本思想是利用深度学习模型对视频帧中的鱼类进行目标检测,得到每个鱼类的检测框,然后利用卡尔曼滤波对每个鱼类的运动状态进行预测,得到每个鱼类的预测框,最后根据检测框和预测框之间的交并比进行匹配,从而实现鱼类的连续跟踪 。该方法在明亮、清晰、目标数量少的场景下能够实现稳定跟踪,但是在鱼类的实际养殖场景中,存在着大量水花、光线和鱼群堆叠造成的交叉融合和类内变异,会使得目标检测的准确度和鲁棒性大大降低,从而导致跟踪算法的性能下降、甚至完全无法发挥作用。
发明内容
本发明要解决的技术为问题是,提供一种鱼类跟踪方法和系统,提高复杂场景下鱼类跟踪的性能。
为实现上述目的,本发明采用如下的技术方案:
一种鱼类跟踪方法,包括以下步骤:
步骤S1、获取鱼群图像;
步骤S2、将鱼群图像输入到修正网络结构中进行鱼类跟踪;其中,所述修正网络结构用于当前帧中跟踪输出的ID数量与鱼群数目不符或ID数字大于鱼群数目时进行跟踪修正。
作为优选,所述修正网络结构包含:数量修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n大于m时,计算当前帧所有ID与上一帧所有坐标的欧氏距离,并取最小值,检索出跟踪结果矩阵中最小值最大的ID,并删除掉跟踪结果矩阵中的对应行;重复此操作至n=m,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
作为优选,所述修正网络结构包含:切换修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID数字进行比较,当ID的数字大于m时,计算该ID坐标与所有缺失ID坐标在上一帧中的欧氏距离,并检索出欧氏距离最近的ID,将跟踪结果矩阵中的ID切换为最近的ID;当不存在大于m的ID数字时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
作为优选,所述修正网络结构包含:数量补充模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n小于m时,检索缺失的ID,并计算该ID与所有未缺失ID上一帧中的欧氏距离,找出距离最近坐标的ID;如果该坐标的距离小于设定的阈值,则复制当前帧中该ID的坐标补充到跟踪结果矩阵中,并将ID数字修改为缺失的ID;如果该坐标的距离大于设定的阈值,则说明是类内变异造成ID缺失,同时引入卡尔曼滤波,根据前两帧的检测框信息预测当前帧的检测框信息,补充进跟踪结果矩阵最后一行,并将ID数字修改为缺失的ID;当n=m时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
本发明还提供一种鱼类跟踪系统,包括:
获取装置,用于获取鱼群图像;
跟踪装置,用于将鱼群图像输入到修正网络结构中进行鱼类跟踪;其中,所述修正网络结构用于当前帧中跟踪输出的ID数量与鱼群数目不符或ID数字大于鱼群数目时进行跟踪修正。
作为优选,所述修正网络结构包含:数量修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n大于m时,计算当前帧所有ID与上一帧所有坐标的欧氏距离,并取最小值,检索出跟踪结果矩阵中最小值最大的ID,并删除掉跟踪结果矩阵中的对应行;重复此操作至n=m,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
作为优选,所述修正网络结构包含:切换修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID数字进行比较,当ID的数字大于m时,计算该ID坐标与所有缺失ID坐标在上一帧中的欧氏距离,并检索出欧氏距离最近的ID,将跟踪结果矩阵中的ID切换为最近的ID;当不存在大于m的ID数字时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
作为优选,所述修正网络结构包含:数量补充模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n小于m时,检索缺失的ID,并计算该ID与所有未缺失ID上一帧中的欧氏距离,找出距离最近坐标的ID;如果该坐标的距离小于设定的阈值,则复制当前帧中该ID的坐标补充到跟踪结果矩阵中,并将ID数字修改为缺失的ID;如果该坐标的距离大于设定的阈值,则说明是类内变异造成ID缺失,同时引入卡尔曼滤波,根据前两帧的检测框信息预测当前帧的检测框信息,补充进跟踪结果矩阵最后一行,并将ID数字修改为缺失的ID;当n=m时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
本发明通过修正网络结构(包含数量修正模块、切换修正模块和数量补充模块),对鱼群个体的跟踪结果进行修正,提升跟踪性能,减少跟踪过程中由于类内变异和交叉融合造成的错误识别、ID切换和ID缺失问题,以提高鱼类跟踪的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例一种鱼类跟踪方法流程图;
图2为本发明实施例修正模块的结构示意图;
图3为本发明实施例另一种鱼类跟踪方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1:
如图1、2所示,本发明实施例提供一种鱼类跟踪方法,包括以下步骤:
步骤S1、获取鱼群图像;
步骤S2、将鱼群图像输入到修正网络结构中进行鱼类跟踪;其中,所述修正网络结构用于当前帧中跟踪输出的ID数量与鱼群数目不符或ID数字大于鱼群数目时进行跟踪修正。
作为本发明实施例的一种实施方式,所述修正网络结构包含:数量修正模块,用于当跟踪结果中的ID的数量大于鱼群数目时,计算当前帧所有ID与上一帧所有坐标的欧氏距离,并取最小值,重复此操作至ID数目符合鱼群数目。
作为本发明实施例的一种实施方式,所述修正网络结构包含:切换修正模块,用于根据当跟踪结果中ID的数字大于鱼群数目时,计算该ID坐标与上一帧中所有缺失ID坐标的欧氏距离,并找出欧氏距离最近的ID。
作为本发明实施例的一种实施方式,所述修正网络结构包含:数量补充模块,用于当跟踪结果中的ID的数量小于鱼群数目时,检索缺失的ID,并计算该ID与所有未缺失ID上一帧中的欧氏距离,找出距离最近坐标的ID;如果该坐标的距离小于设定的阈值,则复制当前帧中该ID的坐标补充到缺失的ID;如果该坐标的距离大于设定的阈值,则说明是类内变异造成ID缺失,同时引入卡尔曼滤波,根据前两帧的坐标预测当前帧的坐标进行补充。
本发明实施例的修正网络结构用于对鱼群进行多目标跟踪。该结构包含三个模块:数量修正模块、切换修正模块和数量补充模块。数量修正模块可以排除掉非鱼个体的错误识别。切换修正模块可以在鱼群数量增加时,有效地避免ID切换问题,从而提高多目标跟踪的准确度。数量补充模块可以在水面波动剧烈时,减少ID缺失问题,从而保持多目标跟踪的稳定性。在水面平静和剧烈波动的两种场景下,验证了该结构的性能,发现模型的准确度在不同鱼群数量和场景下均高于原始的ByteTrack模型。
鱼群数目为10条时,加装了修正网络结构的ByteTrack模型的多目标跟踪准确度在水面平静和剧烈波动的场景下分别为93.2%和68.4%。相较于ByteTrack模型(81.9%和36.8%)分别提升了11.3%和31.6%。鱼群数目为40条时,加装了修正网络结构的ByteTrack模型的多目标跟踪准确度在水面平静和剧烈波动的场景下分别为89.9%和31.5%。相较于ByteTrack模型(75.4%和11.3%)分别提升了14.5%和20.2%。鱼群数目为120条时,加装了修正网络结构的ByteTrack模型的多目标跟踪准确度在水面平静和剧烈波动的场景下分别为50.1%和14.2%。相较于ByteTrack模型(23.8%和2.1%)分别提升了26.3%和12.1%。
如图3所示,采用本发明实施例的修正网络结构实现鱼类跟踪的具体过程包括:
1、实验系统为三个1.5m*1.5m*1m的圆形鱼类养殖池,图像采集系统由摄像机和数据存储器组成,摄像机被放置于系统正上方,采集分辨率为1080×1920像素,速率为60fps。系统中分别养殖鱼10、40、120尾,用漂浮颗粒喂养,水温维持在20-25℃之间,实验前,已在系统中进行了为期8周的养殖;
2、通过视频采集系统,对不同场景(水面平静和剧烈波动)下鱼群的行为进行拍摄,共采集到270000帧长度的视频图像,将其分割为900个300帧长度的视频片段,制作出鱼群行为数据集;
3、使用LabelImg软件对图像中的鱼类头部进行标注,将标注好的数据集输入YOLOv8网络中进行训练,获得用于识别鱼类头部的目标检测权重;
4、鱼群数目的获取:本发明实施例采用YOLOv8进行鱼群数目检测,对目标养殖池的鱼群数目进行持续实时检测,并保存每一秒的平均鱼群数目。取出现频率最高的数量作为鱼群数目的输入;
5、在本发明实施中,使用在跟踪任务上表现优异的ByteTrack算法来对视频中的鱼群进行多目标追踪,追踪结果被保存为一个包含有当前帧数、ID数字、检测框中心点x坐标、检测框中心点y坐标、检测框高度和检测框宽度信息的6*n的二维矩阵,其中,n为检测结果中的ID数量。
6、将跟踪结果输入到跟踪修正结构中,如图2所示,依次进行三个模块的修正:
① 数量修正模块:首先对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n大于m时,计算当前帧所有ID与上一帧所有坐标的欧氏距离,并取最小值,检索出跟踪结果矩阵中最小值最大的ID,并删除掉跟踪结果矩阵中的对应行。重复此操作至n=m,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。以保证淘汰掉那些最不相关的错误识别。因为跟踪出来的结果是每条轨迹都有一个ID编号,如果这个轨迹的数量是42,而只有40条鱼,则触发数量修正模块。
② 切换修正模块:首先对鱼群数目m和跟踪结果矩阵中的ID数字进行比较,当ID的数字大于m时,计算该ID坐标与所有缺失ID坐标在上一帧中的欧氏距离,并检索出欧氏距离最近的ID,将跟踪结果矩阵中的ID切换为最近的ID。当不存在大于m的ID数字时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。这样做的原因是ID切换主要是由于个体的突然加速或个体间的交叉导致的,在1秒60帧的拍摄速度下,上一帧中欧氏距离最近的ID往往是切换前的ID。因为跟踪出来的结果是每条轨迹都有一个ID编号,如果这个ID编号是106,而只有40条鱼,则会触发切换修正模块。在本发明实施例中,ID的数量和ID数字是不同的。举例说明,跟踪对象有40条鱼但是一帧中可能会跟踪到21或98这样的小于或大于鱼群数量的跟踪结果,这是ID的数量出错。另外一种情况是有40条鱼,但是轨迹的编号是52这个数字,这是编号的数字出错了,需要进行切换修正。
③ 数量补充模块:首先对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n小于m时,检索缺失的ID,并计算该ID与所有未缺失ID上一帧中的欧氏距离,找出距离最近坐标的ID。如果该坐标的距离小于设定的阈值,则复制当前帧中该ID的坐标补充到跟踪结果矩阵中,并将ID数字修改为缺失的ID,这样做的原理是,当距离很近时,造成ID缺失的原因一般是附近个体的遮挡。如果该坐标的距离大于设定的阈值,则说明是类内变异造成ID缺失,此时,引入卡尔曼滤波,卡尔曼滤波根据前两帧的检测框信息预测当前帧的检测框信息,补充进跟踪结果矩阵最后一行,并将ID数字修改为缺失的ID。当n=m时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。修正后的跟踪矩阵信息会被保存为txt文件。
7、使用DarkLabel软件对视频中的鱼群进行多目标跟踪标注,得到实际轨迹的标签数据,采用多目标跟踪评估脚本对修正后的跟踪结果与实际标签数据进行评估,得到多目标跟踪准确度(MOTA),其计算公式为:
其中,GT、IDTP、IDFP 和 IDFN 分别代表真实值、真阳性、假阳性和假阴性的总数。
实施例2:
本发明实施例提供一种鱼类跟踪系统,包括:
获取装置,用于获取鱼群图像;
跟踪装置,用于将鱼群图像输入到修正网络结构中进行鱼类跟踪;其中,所述修正网络结构用于当前帧中跟踪输出的ID数量与鱼群数目不符或ID数字大于鱼群数目时进行跟踪修正。
作为本发明实施例的一种实施方式,所述修正网络结构包含:数量修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n大于m时,计算当前帧所有ID与上一帧所有坐标的欧氏距离,并取最小值,检索出跟踪结果矩阵中最小值最大的ID,并删除掉跟踪结果矩阵中的对应行;重复此操作至n=m,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
作为本发明实施例的一种实施方式,所述修正网络结构包含:切换修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID数字进行比较,当ID的数字大于m时,计算该ID坐标与所有缺失ID坐标在上一帧中的欧氏距离,并检索出欧氏距离最近的ID,将跟踪结果矩阵中的ID切换为最近的ID;当不存在大于m的ID数字时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
作为本发明实施例的一种实施方式,所述修正网络结构包含:数量补充模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n小于m时,检索缺失的ID,并计算该ID与所有未缺失ID上一帧中的欧氏距离,找出距离最近坐标的ID;如果该坐标的距离小于设定的阈值,则复制当前帧中该ID的坐标补充到跟踪结果矩阵中,并将ID数字修改为缺失的ID;如果该坐标的距离大于设定的阈值,则说明是类内变异造成ID缺失,同时引入卡尔曼滤波,根据前两帧的检测框信息预测当前帧的检测框信息,补充进跟踪结果矩阵最后一行,并将ID数字修改为缺失的ID;当n=m时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
以上所述的实施例仅是对本发明优选方式进行的描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (2)
1.一种鱼类跟踪方法,其特征在于,包括以下步骤:
步骤S1、获取鱼群图像;
步骤S2、将鱼群图像输入到修正网络结构中进行鱼类跟踪;其中,所述修正网络结构用于当前帧中跟踪输出的ID数量与鱼群数目不符或ID数字大于鱼群数目时进行跟踪修正;
所述修正网络结构包含:数量修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n大于m时,计算当前帧所有ID与上一帧所有坐标的欧氏距离,并取最小值,检索出跟踪结果矩阵中最小值最大的ID,并删除掉跟踪结果矩阵中的对应行;重复此操作至n=m,修正结束,对跟踪结果矩阵根据ID数字升序排列各行;
所述修正网络结构包含:切换修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID数字进行比较,当ID的数字大于m时,计算该ID坐标与所有缺失ID坐标在上一帧中的欧氏距离,并检索出欧氏距离最近的ID,将跟踪结果矩阵中的ID切换为最近的ID;当不存在大于m的ID数字时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行;
所述修正网络结构包含:数量补充模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n小于m时,检索缺失的ID,并计算该ID与所有未缺失ID上一帧中的欧氏距离,找出距离最近坐标的ID;如果该坐标的距离小于设定的阈值,则复制当前帧中该ID的坐标补充到跟踪结果矩阵中,并将ID数字修改为缺失的ID;如果该坐标的距离大于设定的阈值,则说明是类内变异造成ID缺失,同时引入卡尔曼滤波,根据前两帧的检测框信息预测当前帧的检测框信息,补充进跟踪结果矩阵最后一行,并将ID数字修改为缺失的ID;当n=m时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
2.一种鱼类跟踪系统,其特征在于,包括:
获取装置,用于获取鱼群图像;
跟踪装置,用于将鱼群图像输入到修正网络结构中进行鱼类跟踪;其中,所述修正网络结构用于当前帧中跟踪输出的ID数量与鱼群数目不符或ID数字大于鱼群数目时进行跟踪修正;
所述修正网络结构包含:数量修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n大于m时,计算当前帧所有ID与上一帧所有坐标的欧氏距离,并取最小值,检索出跟踪结果矩阵中最小值最大的ID,并删除掉跟踪结果矩阵中的对应行;重复此操作至n=m,修正结束,对跟踪结果矩阵根据ID数字升序排列各行;
所述修正网络结构包含:切换修正模块,用于对鱼群数目m和跟踪结果矩阵中的ID数字进行比较,当ID的数字大于m时,计算该ID坐标与所有缺失ID坐标在上一帧中的欧氏距离,并检索出欧氏距离最近的ID,将跟踪结果矩阵中的ID切换为最近的ID;当不存在大于m的ID数字时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行;
所述修正网络结构包含:数量补充模块,用于对鱼群数目m和跟踪结果矩阵中的ID的数量n进行比较,当n小于m时,检索缺失的ID,并计算该ID与所有未缺失ID上一帧中的欧氏距离,找出距离最近坐标的ID;如果该坐标的距离小于设定的阈值,则复制当前帧中该ID的坐标补充到跟踪结果矩阵中,并将ID数字修改为缺失的ID;如果该坐标的距离大于设定的阈值,则说明是类内变异造成ID缺失,同时引入卡尔曼滤波,根据前两帧的检测框信息预测当前帧的检测框信息,补充进跟踪结果矩阵最后一行,并将ID数字修改为缺失的ID;当n=m时,修正结束,对跟踪结果矩阵根据ID数字升序排列各行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410089624.9A CN117611636B (zh) | 2024-01-23 | 2024-01-23 | 一种鱼类跟踪方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410089624.9A CN117611636B (zh) | 2024-01-23 | 2024-01-23 | 一种鱼类跟踪方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117611636A CN117611636A (zh) | 2024-02-27 |
CN117611636B true CN117611636B (zh) | 2024-04-26 |
Family
ID=89958280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410089624.9A Active CN117611636B (zh) | 2024-01-23 | 2024-01-23 | 一种鱼类跟踪方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117611636B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117974725A (zh) * | 2024-03-28 | 2024-05-03 | 厦门大学 | 一种基于卡尔曼滤波器的鱼类追踪方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230135894A (ko) * | 2022-03-17 | 2023-09-26 | 주식회사 리안 | Ai 기반 어군 탐지 시스템 |
CN117173743A (zh) * | 2023-08-24 | 2023-12-05 | 中山大学 | 一种时序相关的自适应信息融合鱼类群体跟踪方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103366370B (zh) * | 2013-07-03 | 2016-04-20 | 深圳市智美达科技股份有限公司 | 视频监控中的目标跟踪方法和装置 |
CN110414447B (zh) * | 2019-07-31 | 2022-04-15 | 京东方科技集团股份有限公司 | 行人跟踪方法、装置及设备 |
-
2024
- 2024-01-23 CN CN202410089624.9A patent/CN117611636B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230135894A (ko) * | 2022-03-17 | 2023-09-26 | 주식회사 리안 | Ai 기반 어군 탐지 시스템 |
CN117173743A (zh) * | 2023-08-24 | 2023-12-05 | 中山大学 | 一种时序相关的自适应信息融合鱼类群体跟踪方法 |
Non-Patent Citations (8)
Title |
---|
一种简单有效的鱼群轨迹追踪算法;张琪;韩战钢;;北京师范大学学报(自然科学版);20170815(第04期);全文 * |
基于图像处理的鱼群运动监测方法研究;袁永明;施;;南方水产科学;20181005(第05期);全文 * |
基于学习的斑马鱼检测与跟踪;朱佩儒;刘烨;王硕鸿;刘俊;陈雁秋;;计算机应用与软件;20150915(第09期);全文 * |
基于视频算法的鱼类运动跟踪研究;程淑红;蔡菁;胡春海;;光电工程;20110215(第02期);全文 * |
张琪 ; 韩战钢 ; .一种简单有效的鱼群轨迹追踪算法.北京师范大学学报(自然科学版).2017,(第04期),全文. * |
朱佩儒 ; 刘烨 ; 王硕鸿 ; 刘俊 ; 陈雁秋 ; .基于学习的斑马鱼检测与跟踪.计算机应用与软件.2015,(第09期),全文. * |
程淑红 ; 蔡菁 ; 胡春海 ; .基于视频算法的鱼类运动跟踪研究.光电工程.2011,(第02期),全文. * |
袁永明 ; 施珮 ; .基于图像处理的鱼群运动监测方法研究.南方水产科学.2018,(第05期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN117611636A (zh) | 2024-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wen et al. | UA-DETRAC: A new benchmark and protocol for multi-object detection and tracking | |
CN117611636B (zh) | 一种鱼类跟踪方法和系统 | |
Liu et al. | A new dataset, Poisson GAN and AquaNet for underwater object grabbing | |
WO2021114688A1 (zh) | 基于深度学习的视频处理方法及装置 | |
CN113592896B (zh) | 基于图像处理的鱼类投喂方法、系统、设备及存储介质 | |
CN114724022B (zh) | 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 | |
CN113470076A (zh) | 一种平养鸡舍黄羽鸡多目标跟踪方法 | |
CN115578615A (zh) | 基于深度学习的夜间交通标志图像检测模型建立方法 | |
CN115631407A (zh) | 基于事件相机与彩色帧图像融合的水下透明生物检测 | |
CN111507416A (zh) | 一种基于深度学习的吸烟行为实时检测方法 | |
CN114596584A (zh) | 海洋生物智能检测识别方法 | |
CN112712548B (zh) | 一种水下鱼群运动模式分析方法 | |
CN115690570B (zh) | 一种基于st-gcn的鱼群摄食强度预测方法 | |
CN109886996B (zh) | 一种视觉追踪优化方法 | |
Li et al. | CDMY: A lightweight object detection model based on coordinate attention | |
CN106023252A (zh) | 一种基于oab算法的多摄像机人体跟踪方法 | |
CN115909192A (zh) | 一种基于改进EfficientDet的行人检测方法 | |
CN114037737A (zh) | 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法 | |
CN113673422A (zh) | 一种宠物种类识别方法及识别系统 | |
CN112487911A (zh) | 智能监控环境下基于改进yolov3的实时行人检测方法及装置 | |
Xie et al. | Semantic-based traffic video retrieval using activity pattern analysis | |
Song et al. | A salient object detection algorithm based on RGB-D images | |
CN113223060B (zh) | 基于数据共享的多智能体协同跟踪方法、装置及存储介质 | |
CN116502706B (zh) | 一种面向车道线检测的知识蒸馏方法 | |
Mohapatra et al. | Simulation based algorithm for tracking fish population in unconstrained underwater |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |