CN117173743A - 一种时序相关的自适应信息融合鱼类群体跟踪方法 - Google Patents
一种时序相关的自适应信息融合鱼类群体跟踪方法 Download PDFInfo
- Publication number
- CN117173743A CN117173743A CN202311077063.2A CN202311077063A CN117173743A CN 117173743 A CN117173743 A CN 117173743A CN 202311077063 A CN202311077063 A CN 202311077063A CN 117173743 A CN117173743 A CN 117173743A
- Authority
- CN
- China
- Prior art keywords
- fish
- model
- tracking
- mixdsl
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 257
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000004927 fusion Effects 0.000 title claims abstract description 82
- 238000001514 detection method Methods 0.000 claims abstract description 96
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000012360 testing method Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 49
- 230000002776 aggregation Effects 0.000 claims description 46
- 238000004220 aggregation Methods 0.000 claims description 46
- 239000013598 vector Substances 0.000 claims description 36
- 230000003044 adaptive effect Effects 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 49
- 230000009182 swimming Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000252212 Danio rerio Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 229920006255 plastic film Polymers 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000000384 rearing effect Effects 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种时序相关的自适应信息融合鱼类群体跟踪方法。首先获取鱼类群体图像数据集，对鱼类群体图像数据集进行预处理，随后将预处理得到的鱼类群体图像数据集划分为训练集和测试集，同时搭建MixDLA模型，利用训练集对所述MixDLA模型进行训练，并利用测试集对训练后的MixDLA模型进行测试，得到训练完成的MixDLA模型，最后搭建时序相关的BF‑Tracking模型，将训练完成的MixDLA模型与BF‑Tracking模型相连接，得到时序相关的信息融合检测与跟踪模型，并利用时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪，并输出检测与跟踪结果，有效的减小了跟踪误差，并减轻了跟踪工作量。
Description
技术领域
本发明涉及鱼类群体跟踪的技术领域，尤其涉及一种时序相关的自适应信息融合鱼类群体跟踪方法。
背景技术
生物作为集体活动中的个体、或作为社会的一员活动时，往往表现出有利于集体和社会发展的特性。生物群体之间复杂的交互行为包含丰富的社会学信息，依托此发展而来的动物群体行为学研究日趋活跃。在众多的群体行为学研究目标中，提取鱼群的运动轨迹，并分析鱼群运动轨迹之间的关系，是研究群体行为的主要手段。如果能够实现鱼群的行为自动化的跟踪，将大幅提高研究的速度，减少实验的误差，甚至能够发现生物群体中更加丰富的群体特性、运动学特性。
现有文献“J.Delcourt,C.Becco,N.Vandewalle,and P.Poncin.A videomultitracking system for quantification of individual behavior in a largefish shoal:advantages and limits.Behavioural Brain Research,41(1):228-235,2009.”中提出的自动跟踪算法框架，首先通过背景剪除方法提取鱼在图像上的区域，或者用划分的区域表示鱼，抑或直接用该区域的质心表示鱼，然后按序将每帧检测到的鱼关联成轨迹。此类算法较人工标记有了极大的效率提升，对鱼的群体行为研究起到了重要作用。但该方法本身仍存在缺陷，一方面，传统自动跟踪算法对实验环境要求高，背景需要较为简单，且与鱼的视觉效果差异较大；另一方面，鱼身为非刚体，在运动过程中特别是转弯时可能产生较大形变，因此无论是直接当作是对质点的跟踪，还是对整个区域的跟踪，都容易产生较大误差，且可能会丢失跟踪目标。并且，在对鱼类群体进行跟踪的过程中，可能会出现鱼群重叠的情况或者其他遮挡物遮挡了感知目标，对于目标跟踪中常见的遮挡问题，现有文献“S.Kato,T.Nakagawa,M.Ohkawa,et al.A computer image processing system forquantification of zebrafish behavior.Journal Neuroscience Methods，134(1):1-7,2004.”中提出的利用形态学腐蚀和膨胀算法分割存在重叠的鱼，但只对比较简单的交叠适用，跟踪的规模小，在对较大规模的鱼类群体跟踪过程中，存在跟踪轨迹不准确或不完整的情况，且对鱼类群体进行跟踪的过程中，工作量相对较大。
综上所述，在现有的鱼类群体跟踪的技术中，存在因跟踪目标重叠或者发生较大的形变而导致跟踪误差大或者丢失跟踪目标的情况，且跟踪工作量大。
发明内容
为解决现有鱼类群体跟踪技术存在跟踪误差大与跟踪工作量大的问题，本发明提出一种时序相关的自适应信息融合鱼类群体跟踪方法，通过此方法构建的时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪，能有效的减小跟踪误差，并减少跟踪工作量。
为了实现本发明的目的，本发明采用如下技术方案实现：
一种时序相关的自适应信息融合鱼类群体跟踪方法，包括以下步骤：
S1：获取鱼类群体图像数据集，对鱼类群体图像数据集进行预处理；
S2：将预处理得到的鱼类群体图像数据集划分为训练集和测试集；
S3：搭建MixDLA模型；
S4：利用训练集对MixDLA模型进行训练，并利用测试集对训练后的MixDLA模型进行测试，得到训练完成的MixDLA模型；
S5：搭建时序相关的BF-Tracking模型，将训练完成的MixDLA模型与BF-Tracking模型相连接，得到时序相关的信息融合检测与跟踪模型，并利用时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪，输出检测与跟踪结果；
其中，MixDLA模型表示联合检测跟踪模型，BF-Tracking模型表示自适应决策融合跟踪模型。
在上述技术方案中，利用获取的鱼类群体图像数据集对搭建MixDLA模型进行训练与测试，得到训练完成的MixDLA模型，训练完成的MixDLA模型能够对鱼类群体图像数据集中的图像特征进行提取，同时还能保留鱼类目标共有的深度外观特征，且能对鱼类目标个体间区分，还能对鱼类目标的运行进行预测，从而提升对鱼类群体图像数据集特征提取的全面性和鲁棒性，随后搭建用于接收MixDLA模型输出结果的时序相关的BF-Tracking模型，将MixDLA模型的输出端与BF-Tracking模型的输入端进行连接，所述BF-Tracking模型能够根据MixDLA模型对鱼类群体的运动预测结果进行前后对比，进而生成准确的鱼类群体运动轨迹，从而缩小鱼类目标个体快速游动和姿态变化的位置漂移，实现对跟踪目标的重定位，进而减小了对鱼类群体的跟踪误差，并减轻了跟踪工作量。
进一步地，步骤S1所述的对鱼类群体图像数据集进行预处理的过程为：
将采集的鱼类群体图像数据集中的图像进行区域裁剪与尺寸重置，得到预处理完成的鱼类群体图像数据集。
进一步地，将预处理完成的鱼类群体图像数据集划分为训练集T1与测试集T2；
对所述训练集T1内的鱼类群体图像数据进行类别标志、身份标志和检测框区域标注，并保存为通用检测数据集格式。
根据上述技术方案，对训练集T1内的鱼类群体图像数据集进行类别标志、身份标志和检测框区域标注，在对MixDLA模型进行训练的过程中，能够使MixDLA模型更好地对鱼类群体图像的特征进行提取，提高训练的效率，将进行类别标志、身份标志和检测框区域标注的训练集T1保存为通用检测数据集格式，更方便后续对训练集T1的提取。
进一步地，步骤S3中搭建的MixDLA模型包括：
Backbone网络层、Neck网络层和Head网络层；
其中，Backbone网络层用于提取特征图并对特征图进行特征编码；Neck网络层用于对Backbone网络层编码后的特征图进行图像特征提取；Head网络层用于对Neck网络层提取的图像特征进行运动预测。
进一步地，步骤S4所述中采用随机梯度下降优化器SGD对MixDLA模型进行训练。
对MixDLA模型进行训练的具体过程为：
S41：将训练集T1输入MixDLA模型的Backbone网络层，利用Backbone网络层提取训练集T1中的特征图，根据提取的特征图，利用迭代聚合函数I对整个MixDLA模型网络进行连接，使用到的迭代聚合函数I表达式为：
对提取的特征图进行特征编码，将特征编码后的特征图传输至Neck网络层；
其中，n表示网络的深度层数，N表示聚合节点，x表示当前节点的特征参数；
S42：利用Neck网络层对特征编码后的特征图进行解码，利用分层聚合函数对特征图中的浅层图像特征与深层图像特征进行提取，提取过程中使用到的分层聚合函数表达式为：
其中，x表示当前节点的特征参数，n表示网络的深度层数，N表示聚合节点，V表示纵向聚合，H表示横向聚合；
引入自适应特征融合函数Y，表达式为：
其中，w表示自适应定义的权函数，y表示线性相加；
利用自适应特征融合函数以线性相加的方式将提取的浅层图像特征叠加至深层图像特征中，线性相加表达式满足：
y(a,b)＝f(w1x1(a,b)+w2x2(a,b)),(a,b)∈Z；
将提取的浅层图像特征与深层图像特征传输至Head网络层；
其中，f()表示融合特征的映射，(a,b)表示当前通道二维特征层上的某一点，x表示当前通道二维特征层上的某一点上的特征值，w表示自适应定义的权函数，Z表示单一通道上特征层特征值的集合；
S43：利用Head网络层对提取的浅层图像特征与深层图像特征进行鱼类目标的运动预测，并输出运动预测结果；
S44：设训练过程中的损失函数为Losstrain，表达式为：
其中，i表示鱼类目标，t表示鱼类目标的当前帧，t-1表示鱼类目标的过去帧，p表示鱼类目标的位置，G表示真值；
利用测试集T2对完成每轮次训练的MixDLA模型进行测试，当损失函数Losstrain输出的值收敛时，得到训练完成的MixDLA模型，表达式为：
在上述技术方案中，在对MiixDLA模型训练的过程中，利用MixDLA模型的Backbone网络层提取训练集T1内的特征图，并进行特征编码，方便对图像中的纹理、颜色以及形状等进行区分，能够在训练过程中不断提升MixDLA模型对图像内容进行区分的精度，利用MixDLA模型的Neck网络层对特征编码后的特征图进行解码，并利用分层聚合函数对特征图中的浅层图像特征和深层图像特征进行提取，并利用自适应特征融合函数以线性相加的方式将提取的浅层图像特征叠加至深层图像特征中，能够使MixDLA模型从纵向和横向对鱼类群体图像数据集中的图像特征进行读取，且分层聚合函数能够使特征信息跨越各个网络层，利用MixDLA模型的Head网络层对提取的浅层图像特征与深层图像特征进行鱼类目标的运动预测，并输出运动预测结果，能够使MixDLA模型有效地预测出鱼类目标的运动特性，并得到鱼类目标的外观信息，在对MixDLA模型进行训练的过程中，利用测试集T2对完成每轮次训练的MixDLA模型进行测试，并设置损失函数Losstrain对MixDLA模型的训练效果进行验证，从而保证了对MixDLA模型训练的有效性，且损失函数能够更好地从数据上体现出对MixDLA模型的训练效果。
进一步地，步骤S5中搭建的时序相关的BF-Tracking模型包括：
检测框匹配模块，用于接收MixDLA模型输出的鱼类群体运动预测结果，并根据鱼类群体运动预测结果生成自适应历史信息融合结果；
轨迹关联模块，用于根据所述自适应历史信息融合结果生成鱼类群体的跟踪轨迹；
可视化模块，用于将检测框匹配模块与轨迹关联模块的信息融合，输出对鱼类群体目标的检查与跟踪结果。
根据上述技术方案，考虑现有鱼类群体跟踪技术存在任意丢失目标的问题，搭建时序相关的BF-Tracking模型，所述BF-Tracking模型能根据鱼类目标个体的运动位置进行前后位置信息对比，从而缩小鱼类目标个体快速游动和姿态变化的位置漂移，实现对跟踪目标的重定位，进而减小了对鱼类群体的跟踪误差。
进一步地，步骤S5所述的利用时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪的具体过程为：
S51：利用训练完成的MixDLA模型对待检测的鱼类群体图像数据集进行鱼类群体运动预测并输出预测结果；
S52：利用BF-Tracking模型根据所述MixDLA模型的鱼类群体运动预测结果，对鱼类群体进行检测与跟踪，并输出检测与跟踪结果。
步骤S51所述的利用训练完成的MixDLA模型对待检测的鱼类群体图像数据集进行检测的具体过程为：
将待检测的鱼类群体图像数据集进行区域裁剪与尺寸重置预处理，并将预处理完成的鱼类群体图像数据集输入MixDLA模型；
利用MixDLA模型中的Backbone网络层对鱼类群体图像数据集进行特征图提取，并对特征图进行特征编码；
利用MixDLA模型中的Neck网络层将特征编码后的特征图进行解码，并提取图像特征；
利用MixDLA模型中的Head网络层对提取的图像特征进行鱼类群体运动预测，生成鱼类目标的位置热点p(x,y)和运动预测向量v。
步骤S52所述的对鱼类群体进行检测与跟踪的具体过程为：
S521：利用BF-Tracking模型中的检测框匹配模块接收MixDLA模型中Head网络层生成的鱼类目标的位置热点p(x,y)和运动预测向量v，并将位置热点p(x,y)和运动预测向量v进行回归，得到两组检测框；
将两组检测框进行融合，融合表达式满足：
lf,tf,rf,bf＝min[(pa,pb)]p for p in[l,t,r,b]；
在两组检测框融合的过程中，通过联结欧氏距离最小的鱼类目标位置热点点对，保证两组检测框融合的损失达到最小，表达式满足：
其中，[l,t,r,b]是常用的表示矩形框的格式，分别指代了矩形框的左侧、顶部、右侧和底部位置，RA与RB分别表示两组检测框的检测结果；
引入前后向跟踪原理，求当前帧与过去帧的距离权重和方向权重，过程满足：
将过去帧t-1至当前帧t所有的鱼类目标跟踪运动预测向量的平均值vavg′作为群体运动向量，则距离权重的表达式满足：
方向权重的表达式满足：
其中，v′表示过去帧的移动预测向量；
利用距离权重与方向权重对当前帧t的运动预测向量v进行微调，过程满足：
|vBF|＝wd|v|；
∠vBF＝wo∠v；
其中，vBF表示自适应历史信息融合结果；
S522：利用轨迹关联模块将自适应历史信息融合结果vBF连接形成鱼类群体的跟踪轨迹，得到鱼类目标的身份序号，表达式满足：
IDf＝min(ID1,ID2,…,IDn)；
S523：利用可视化模块将检测框匹配模块与轨迹关联模块对鱼类群体目标的检测与跟踪信息进行融合，将信息融合结果以可视化图像的形式输出。
在上述技术方案中，在利用MixDLA模型与BF-Tracking模型对鱼类群体进行检测与跟踪的过程中，MixDLA模型能够在保留鱼类目标共有的深度外观特征的同时，对预处理完成的鱼类群体图像数据集进行深度层次的图像特征提取，并能够根据提取的图像特征得到鱼类群体的位置热点p(x,y)和运动预测向量v，有效提升了对鱼类群体图像特征提取的全面性和鲁棒性，此外，BF-Tracking模型能够将MixDLA模型中得到的位置热点p(x,y)和运动预测向量v进行回归，结合引入的前后向跟踪原理，生成鱼类目标个体的跟踪轨迹，并基于得到的自适应历史信息融合结果vBF，生成鱼类群体的跟踪轨迹，有效的减小了对鱼类群体跟踪的跟踪误差，且BF-Tracking模型能够实时的将检测与跟踪的结果以可视化形式输出，更直接的体现了MixDLA模型与BF-Tracking模型相连接形成的时序相关的信息融合检测与跟踪模型的跟踪性能。
相比现有技术，本发明的有益效果在于：
本发明提出一种时序相关的自适应信息融合鱼类群体跟踪方法，利用获取的鱼类群体图像数据集训练完成得到的MixDLA模型，能够对鱼类群体图像数据集中的图像特征进行提取，同时还能保留鱼类目标共有的深度外观特征，且能对鱼类目标个体间区分，还能对鱼类目标的运行进行预测，从而提升对鱼类群体图像数据集特征提取的全面性和鲁棒性；搭建BF-Tracking模型，并将BF-Tracking模型的输入端与MixDLA模型的输出端连接，所述BF-Tracking模型能够根据MixDLA模型对鱼类群体的运动预测结果进行前后对比，进而生成准确的鱼类群体运动轨迹，从而缩小鱼类目标个体快速游动和姿态变化的位置漂移，实现对跟踪目标的重定位，进而减小了对鱼类群体的跟踪误差，并减轻了跟踪工作量。
附图说明
图1为本申请实施例提供的一种时序相关的自适应信息融合鱼类群体跟踪方法的流程图；
图2为本申请实施例提供的鱼类群体图像数据标记图；
图3为本申请实施例提供的MixDLA模型的网络结构示意图；
图4为本申请实施例提供的BF-Tracking模型的结构示意图；
图5为本申请实施例提供的BF-Tracking模型中可视化模块输出的可视化图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以用许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一：
本实施例提出了一种时序相关的自适应信息融合鱼类群体跟踪方法，该方法的流程图参加图1，包括以下步骤：
S1：获取鱼类群体图像数据集，对鱼类群体图像数据集进行预处理；
S2：将预处理得到的鱼类群体图像数据集划分为训练集和测试集；
S3：搭建MixDLA模型；
S4：利用训练集对MixDLA模型进行训练，并利用测试集对训练后的MixDLA模型进行测试，得到训练完成的MixDLA模型；
S5：搭建时序相关的BF-Tracking模型，将训练完成的MixDLA模型与BF-Tracking模型相连接，得到时序相关的信息融合检测与跟踪模型，并利用时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪，输出检测与跟踪结果；
其中，MixDLA模型表示联合检测跟踪模型，BF-Tracking模型表示自适应决策融合跟踪模型。
步骤S1所述的对鱼类群体图像数据集进行预处理的过程为：
将采集的鱼类群体图像数据集中的图像进行区域裁剪与尺寸重置，得到预处理完成的鱼类群体图像数据集。
将预处理完成的鱼类群体图像数据集划分为训练集T1与测试集T2；
对所述训练集T1内的鱼类群体图像数据进行类别标志、身份标志和检测框区域标注，并保存为通用检测数据集格式。
可以理解的，对训练集T1内的鱼类群体图像数据集进行类别标志、身份标志和检测框区域标注，在对MixDLA模型进行训练的过程中，能够使MixDLA模型更好地对鱼类群体图像的特征进行提取，提高训练的效率，将进行类别标志、身份标志和检测框区域标注的训练集T1保存为通用检测数据集格式，更方便后续对训练集T1的提取。
步骤S3中搭建的MixDLA模型包括：
Backbone网络层、Neck网络层和Head网络层；
其中，Backbone网络层用于提取特征图并对特征图进行特征编码；Neck网络层用于对Backbone网络层编码后的特征图进行图像特征提取；Head网络层用于对Neck网络层提取的图像特征进行运动预测。
步骤S4所述中采用随机梯度下降优化器SGD对MixDLA模型进行训练。
对MixDLA模型进行训练的具体过程为：
S41：将训练集T1输入MixDLA模型的Backbone网络层，利用Backbone网络层提取训练集T1中的特征图，根据提取的特征图，利用迭代聚合函数I对整个MixDLA模型网络进行连接，使用到的迭代聚合函数I表达式为：
对提取的特征图进行特征编码，将特征编码后的特征图传输至Neck网络层；
其中，n表示网络的深度层数，N表示聚合节点，x表示当前节点的特征参数；
S42：利用Neck网络层对特征编码后的特征图进行解码，利用分层聚合函数对特征图中的浅层图像特征与深层图像特征进行提取，提取过程中使用到的分层聚合函数表达式为：
其中，x表示当前节点的特征参数，n表示网络的深度层数，N表示聚合节点，V表示纵向聚合，H表示横向聚合；
引入自适应特征融合函数Y，表达式为：
其中，w表示自适应定义的权函数，y表示线性相加；
利用自适应特征融合函数以线性相加的方式将提取的浅层图像特征叠加至深层图像特征中，线性相加表达式满足：
y(a,b)＝f(w1x1(a,b)+w2x2(a,b)),(a,b)∈Z；
将提取的浅层图像特征与深层图像特征传输至Head网络层；
其中，f()表示融合特征的映射，(a,b)表示当前通道二维特征层上的某一点，x表示当前通道二维特征层上的某一点上的特征值，w表示自适应定义的权函数，Z表示单一通道上特征层特征值的集合；
S43：利用Head网络层对提取的浅层图像特征与深层图像特征进行鱼类目标的运动预测，并输出运动预测结果；
S44：设训练过程中的损失函数为Losstrain，表达式为：
其中，i表示鱼类目标，t表示鱼类目标的当前帧，t-1表示鱼类目标的过去帧，p表示鱼类目标的位置，G表示真值；
利用测试集T2对完成每轮次训练的MixDLA模型进行测试，当损失函数Losstrain输出的值收敛时，得到训练完成的MixDLA模型，表达式为：
可以理解的，在对MiixDLA模型训练的过程中，利用MixDLA模型的Backbone网络层提取训练集T1内的特征图，并进行特征编码，方便对图像中的纹理、颜色以及形状等进行区分，能够在训练过程中不断提升MixDLA模型对图像内容进行区分的精度，利用MixDLA模型的Neck网络层对特征编码后的特征图进行解码，并利用分层聚合函数对特征图中的浅层图像特征和深层图像特征进行提取，并利用自适应特征融合函数以线性相加的方式将提取的浅层图像特征叠加至深层图像特征中，能够使MixDLA模型从纵向和横向对鱼类群体图像数据集中的图像特征进行读取，且分层聚合函数能够使特征信息跨越各个网络层，利用MixDLA模型的Head网络层对提取的浅层图像特征与深层图像特征进行鱼类目标的运动预测，并输出运动预测结果，能够使MixDLA模型有效地预测出鱼类目标的运动特性，并得到鱼类目标的外观信息，在对MixDLA模型进行训练的过程中，利用测试集T2对完成每轮次训练的MixDLA模型进行测试，并设置损失函数Losstrain对MixDLA模型的训练效果进行验证，从而保证了对MixDLA模型训练的有效性，且损失函数能够更好地从数据上体现出对MixDLA模型的训练效果。
示例性的，搭建适宜小型鱼类群体游动的场景，并采集鱼类群体游动的图像数据，将得到的鱼类群体游动的图像进行区域裁剪和尺寸重置预处理，随后将预处理完成的的鱼类群体图像数据集划分为训练集T1和测试集T2，同时，如图2所示，对训练集T1内的鱼类群体图像数据进行类别标志、身份标志以及检测框区域标注，将鱼类目标标签以“Fish+ID”的形式命名，并提供图像数据的首帧鱼类目标的位置信息，且保存为通用的检测数据集格式；
随后引入一个DLA模型，并在DLA模型的基础上，搭建一种针对鱼群游动场景的、适合多个相似目标的MixDLA模型，如图3所示，所述MixDLA模型包括Backbone网络层、Neck网络层和Head网络层，所述Backbone网络层和Neck网络层形成MixDLA模型的主干网络，所述Head网络层作为MixDLA模型的输出，然后利用训练集T1对MixDLA模型进行训练，将训练集T1中的鱼类群体图像数据集输入至Backbone网络层中，利用Backbone网络层提取训练集T1中的特征图，根据提取的特征图，利用迭代聚合函数I对整个MixDLA模型网络进行连接，使用到的迭代聚合函数I表达式为：
并对提取的特征图进行特征编码，将特征编码后的特征图传输至Neck网络层；
其中，n表示网络的深度层数，N表示聚合节点，x表示当前节点的特征参数。
利用Neck网络层对特征编码后的特征图进行解码，利用分层聚合函数对特征图中的浅层图像特征与深层图像特征进行提取，提取过程中使用到的分层聚合函数表达式为：
其中，x表示当前节点的特征参数，n表示网络的深度层数，N表示聚合节点，V表示纵向聚合，H表示横向聚合；且分层聚合的顺序为自左向右先纵向再横向的聚合顺序。
纵向聚合函数V的表达式如下：
其中，x为当前节点的特征参数，n表示网络的深度层数，m表示当前聚合的节点属于网络的第m层；具体地，对于第m层提取的特征参数xm，其既与xm+1聚合，又跨越与最深层的xn聚合。
同一深度层级特征的横向聚合H，对相邻的节点1和节点2，表达式如下：
其中，cov表示对特征参数x作神经网络中常用的卷积计算。
同时，引入自适应特征融合函数Y，表达式为：
其中，w表示自适应定义的权函数，y表示线性相加。
利用自适应特征融合函数以线性相加的方式将提取的浅层图像特征叠加至深层图像特征中，从主干网络对不同的特征提取层进行特征聚合，从而允许网络同时保留浅层特征自顶向下传达强语义与深层特征自底向上传达强定位信息的特点，增强特征提取鲁棒性。线性相加表达式满足：
y(a,b)＝f(w1x1(a,b)+w2x2(a,b)),(a,b)∈Z；
线性相加不改变梯度的变化，且操作简单快速，从而增加了神经网络的适应性。
其中，f()表示融合特征的映射，(a,b)表示当前通道二维特征层上的某一点，x表示当前通道二维特征层上的某一点上的特征值，w表示自适应定义的权函数，Z表示单一通道上特征层特征值的集合；
将提取的浅层图像特征与深层图像特征传输至Head网络层；
利用Head网络层对提取的浅层图像特征与深层图像特征进行鱼类目标的运动预测，并输出运动预测结果。
在对MixDLA模型进行训练的过程中，设训练过程中的损失函数为Losstrain，初始学习率设置为0.000125，学习率的动量和衰减系数分别设置为0.9和0.1，训练的损失函数定义为目标在当前帧与过去帧中位置的偏移量，表达式为：
其中，i表示鱼类目标，t表示鱼类目标的当前帧，t-1表示鱼类目标的过去帧，p表示鱼类目标的位置，G表示真值；
利用测试集T2对完成每轮次训练的MixDLA模型进行测试，对于N个目标，计算每个目标i的当前帧t和过去帧t-1的位置p的偏移量，并与真实值G作比较，求平均得到训练的损失函数，当损失函数Losstrain输出的值收敛时，得到训练完成的MixDLA模型，表达式为：
可以理解的，在对MiixDLA模型训练的过程中，利用MixDLA模型的Backbone网络层提取训练集T1内的特征图，并进行特征编码，方便对图像中的纹理、颜色以及形状等进行区分，能够在训练过程中不断提升MixDLA模型对图像内容进行区分的精度，利用MixDLA模型的Neck网络层对特征编码后的特征图进行解码，并利用分层聚合函数对特征图中的浅层图像特征和深层图像特征进行提取，并利用自适应特征融合函数以线性相加的方式将提取的浅层图像特征叠加至深层图像特征中，能够使MixDLA模型从纵向和横向对鱼类群体图像数据集中的图像特征进行读取，且分层聚合函数能够使特征信息跨越各个网络层，利用MixDLA模型的Head网络层对提取的浅层图像特征与深层图像特征进行鱼类目标的运动预测，并输出运动预测结果，能够使MixDLA模型有效地预测出鱼类目标的运动特性，并得到鱼类目标的外观信息，在对MixDLA模型进行训练的过程中，利用测试集T2对完成每轮次训练的MixDLA模型进行测试，并设置损失函数Losstrain对MixDLA模型的训练效果进行验证，从而保证了对MixDLA模型训练的有效性，且损失函数能够更好地从数据上体现出对MixDLA模型的训练效果。
在本实施例中，利用获取的鱼类群体图像数据集对搭建MixDLA模型进行训练与测试，得到训练完成的MixDLA模型，训练完成的MixDLA模型能够对鱼类群体图像数据集中的图像特征进行提取，同时还能保留鱼类目标共有的深度外观特征，且能对鱼类目标个体间区分，还能对鱼类目标的运行进行预测，从而提升对鱼类群体图像数据集特征提取的全面性和鲁棒性，随后搭建用于接收MixDLA模型输出结果的时序相关的BF-Tracking模型，将MixDLA模型的输出端与BF-Tracking模型的输入端进行连接，所述BF-Tracking模型能够根据MixDLA模型对鱼类群体的运动预测结果进行前后对比，进而生成准确的鱼类群体运动轨迹，从而缩小鱼类目标个体快速游动和姿态变化的位置漂移，实现对跟踪目标的重定位，进而减小了对鱼类群体的跟踪误差，并减轻了跟踪工作量。
实施例二：
本实施例针对步骤S5中的内容作进一步的说明，具体如下：
步骤S5中搭建的时序相关的BF-Tracking模型包括：
检测框匹配模块，用于接收MixDLA模型输出的鱼类群体运动预测结果，并根据鱼类群体运动预测结果生成自适应历史信息融合结果；
轨迹关联模块，用于根据所述自适应历史信息融合结果生成鱼类群体的跟踪轨迹；
可视化模块，用于将检测框匹配模块与轨迹关联模块的信息融合，输出对鱼类群体目标的检查与跟踪结果。
可以理解的，考虑现有鱼类群体跟踪技术存在任意丢失目标的问题，搭建时序相关的BF-Tracking模型，所述BF-Tracking模型能根据鱼类目标个体的运动位置进行前后位置信息对比，从而缩小鱼类目标个体快速游动和姿态变化的位置漂移，实现对跟踪目标的重定位，进而减小了对鱼类群体的跟踪误差。
步骤S5所述的利用时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪的具体过程为：
S51：利用训练完成的MixDLA模型对待检测的鱼类群体图像数据集进行鱼类群体运动预测并输出预测结果；
S52：利用BF-Tracking模型根据所述MixDLA模型的鱼类群体运动预测结果，对鱼类群体进行检测与跟踪，并输出检测与跟踪结果。
如图3所示，步骤S51所述的利用训练完成的MixDLA模型对待检测的鱼类群体图像数据集进行检测的具体过程为：
将待检测的鱼类群体图像数据集进行区域裁剪与尺寸重置预处理，并将预处理完成的鱼类群体图像数据集输入MixDLA模型；
利用MixDLA模型中的Backbone网络层对鱼类群体图像数据集进行特征图提取，并对特征图进行特征编码；
利用MixDLA模型中的Neck网络层将特征编码后的特征图进行解码，并提取图像特征；
利用MixDLA模型中的Head网络层对提取的图像特征进行鱼类群体运动预测，生成鱼类目标的位置热点p(x,y)和运动预测向量v。
如图4所示，步骤S52所述的对鱼类群体进行检测与跟踪的具体过程为：
S521：利用BF-Tracking模型中的检测框匹配模块接收MixDLA模型中Head网络层生成的鱼类目标的位置热点p(x,y)和运动预测向量v，并将位置热点p(x,y)和运动预测向量v进行回归，得到两组检测框；
其中，所述回归得到两组检测框的具体过程为：
建立空间像素坐标系，根据位置热点p(x,y)和预测框宽高(h,w)定位得到一组检测框，再由基于同一像素坐标系的运动预测向量v投影到像素坐标轴上，定位得到另一组检测框；
将两组检测框进行融合，融合表达式满足：
lf,tf,rf,bf＝min[(pa,pb)]p for p in[l,t,r,b]；
在两组检测框融合的过程中，通过联结欧氏距离最小的鱼类目标位置热点点对，保证两组检测框融合的损失达到最小，表达式满足：
其中，[l,t,r,b]是常用的表示矩形框的格式，分别指代了矩形框的左侧、顶部、右侧和底部位置，RA与RB分别表示两组检测框的检测结果；对于融合前两组检测框的检测结果，以单个检测框匹配为例，共有两个矩形框共计八个点p，将对应方位的点坐标取较小值，得到融合后的新检测框[lf,tf,rf,bf]，实现对检测结果的自适应决策融合。
引入前后向跟踪原理，求当前帧与过去帧的距离权重和方向权重，过程满足：
考虑群体特性，将过去帧t-1至当前帧t所有的鱼类目标跟踪运动预测向量的平均值vavg′作为群体运动向量，则距离权重的表达式满足：
方向权重的表达式满足：
其中，v′表示过去帧的移动预测向量；
利用距离权重与方向权重对当前帧t的运动预测向量v进行微调，过程满足：
|vBF|＝wd|v|；
∠vBF＝wo∠v；
其中，vBF表示自适应历史信息融合结果；
S522：利用轨迹关联模块基于贪婪匹配规则，即在满足鱼类目标热点位置与检测框距离最小的情况下，尽可能的关联更长的轨迹，并将自适应历史信息融合结果vBF连接形成鱼类群体的跟踪轨迹，身份序号的更新遵循改变最少原则，多条子轨迹连接形成长轨迹时，取子轨迹中身份序号最小者为新的长轨迹的身份序号，得到鱼类目标的身份序号，表达式满足：
IDf＝min(ID1,ID2,…,IDn)；
如图5所示，S523：利用可视化模块将检测框匹配模块与轨迹关联模块对鱼类群体目标的检测与跟踪信息进行融合，将信息融合结果以可视化图像的形式输出。
在本实施例中，在利用MixDLA模型与BF-Tracking模型对鱼类群体进行检测与跟踪的过程中，MixDLA模型能够在保留鱼类目标共有的深度外观特征的同时，对预处理完成的鱼类群体图像数据集进行深度层次的图像特征提取，并能够根据提取的图像特征得到鱼类群体的位置热点p(x,y)和运动预测向量v，有效提升了对鱼类群体图像特征提取的全面性和鲁棒性，此外，BF-Tracking模型能够将MixDLA模型中得到的位置热点p(x,y)和运动预测向量v进行回归，结合引入的前后向跟踪原理，生成鱼类目标个体的跟踪轨迹，并基于得到的自适应历史信息融合结果vBF，生成鱼类群体的跟踪轨迹，有效的减小了对鱼类群体跟踪的跟踪误差，且BF-Tracking模型能够实时的将检测与跟踪的结果以可视化形式输出，更直接的体现了MixDLA模型与BF-Tracking模型相连接形成的时序相关的信息融合检测与跟踪模型的跟踪性能。
实施例三：
本实施例以具体的实验过程验证本发明所提方法的有效性，具体如下：
本实施例以小型观赏鱼群在圆形鱼缸环境下，由正上方俯视视角进行序列图像采集，所进行的群体目标检测与跟踪为例，通过具体的实验过程，对本发明所提出的方法进行进一步的说明。
1.序列图像采集
本实施例在通风、安全、环境条件良好的实验室内进行。实验所用的小型观赏鱼类约30条，体长在3～6厘米间，鱼身主体颜色以橙红色与灰色为主。实验开始前将小型观赏鱼放置在容积为5L的长方体透明玻璃容器中，并持续供氧。暂养期间，每天在08:00投喂同一规格的饲料。
为了模拟真实环境下该小型观赏鱼群的游动，使用直径为43厘米的半球形鱼缸进行实验。为了避免周围环境对鱼的影响，在鱼缸的水面以下位置粘贴了灰色塑料膜。半球形鱼缸中水深约20厘米，在鱼缸中放入5条小型观赏鱼进行实验，并使用摄像机记录鱼缸中小型鱼群的游动。相机为Basler acA300-60gc的彩色成像型号，镜头型号为FL-CC0814A-2M8mm，焦距可调。采集图像的分辨率为1024×1023像素，摄像帧率约30FPS。
2.鱼类群体数据集采集
随机选取摄录的视频并分帧成图像，共采集了9000张，裁切多余背景后，图像分辨率大小为921×851像素。为了使所用的数据更有具一般性，随机选取了4085张小型观赏鱼群的运动图像，使用OpenCV库提供的一种单目标跟踪器OpenCV:TrackerCSRT，由跟踪器的跟踪结果输出作为标注；使用Labelimg软件进行目标标注矩形框的纠错与补充；将目标标签命名为“Fish+ID”，用于训练目标检测与跟踪模型。目标框标注示意图如图2所示。其中，训练集和测试集的划分比例为4:5。测试集命名为test1至test5。
3.MixDLA联合检测跟踪模型搭建
本发明选用联合检测跟踪模式的DLA模型作为基础框架。在DLA的基础上提出了针对小型鱼类群体检测的MixDLA模型。MixDLA的结构框架图如图3所示。
MixDLA模型在主干网络中加入了自适应特征融合网络结构，以线性相加的方式，将浅层特征层叠加到相邻的深层特征层上，从主干网络对不同的特征提取层进行特征聚合，从而允许网络同时保留浅层特征自顶向下传达强语义与深层特征自底向上传达强定位信息的特点，增强特征提取鲁棒性。
4.BF-Tracking模型搭建
如图4所示，本发明所述的BF-Tracking模型在MixDLA模型处理图像的基础上，获得两组目标位置热点p(x,y)和运动预测向量v，并由此回归得到两组检测框，检测框匹配通过联结欧氏距离最小的目标位置热点点对，并完成自适应的决策融合。
在此基础上，考虑到群体特性，假设当前帧为t，求t→t+1帧所有目标跟踪向量的平均值vavg作群体运动向量。引入前后向跟踪思路，搭建一种时序相关的自适应历史信息融合，假设当t→t-1帧同样存在历史预测向量v’和历史群体运动向量vavg’，因此提出距离权重wd和方向权重wo，对当前预测向量v进行微调，过程为：
将过去帧t-1至当前帧t所有的鱼类目标跟踪运动预测向量的平均值vavg′作为群体运动向量，则距离权重的表达式满足：
方向权重的表达式满足：
其中，v′表示过去帧的移动预测向量；
利用距离权重与方向权重对当前帧t的运动预测向量v进行微调，过程满足：
|vBF|＝wd|v|；
∠vBF＝wo∠v；
其中，vBF表示自适应历史信息融合结果。
基于贪婪匹配规则，即在满足目标热点位置与检测框间距离最小的情况下，尽可能地关联更长的跟踪轨迹。基于上述自适应历史信息融合结果vBF，连接形成小型鱼类的稳定跟踪轨迹。身份序号的更新遵循改变最少原则，多条子轨迹接续形成长轨迹时，取子轨迹中身份序号最小者为新的长轨迹的身份序号。
5.MixDLA模型权重训练
本实施例所用的实验平台的软硬件配置如表1所示。本实施例中的所有的目标检测与跟踪模型的超参数设置一致：初始学习率设置为0.000125，学习率的动量和衰减系数分别设置为0.9和0.1。优化器选择随机梯度下降(SGD)。最大训练迭代次数设置为40次。
表1实施例中实验平台的软硬件配置
6.跟踪性能指标评价
MOTA(Multiple Object Tracking Accuracy)体现多目标跟踪的准确度，是衡量多目标跟踪算法精确性方面最重要的指标，以1为最佳情况，数值越高代表跟踪精确度越好。具体定义如下：
其中，FP是分配错误检测目标的跟踪轨迹，匹配正误与匹配度计算公式中的阈值有关(本实施例中的阈值交并比IOU均设为0.4)。FN是当前帧中检测和跟踪分配失败的目标的标签真实值。IDSW是跟踪过程中，真实标签所分配的ID标识变化次数。GT代表当前帧所有跟踪目标在标签中的真实值。
为了验证所提出模型的目标检测性能，将MixDLA与经典的Ultralytics YOLOv5(Glenn Jocher et al.2020)模型进行对比实验，Ultralytics YOLOv5后接工业上常用的跟踪器SORT(Bewley et al.2016)，greedT即为基于贪心匹配的基础数据关联跟踪方法。实验结果如表2所示，每个测试集各为1000帧。
表2不同检测与跟踪模型的性能比较
| MOTA | YOLOv5+SORT | DLA+greedT | DLA+SORT | MixDLA+BF-Tracking |
| test1 | 0.326535 | 0.46191 | 0.44931 | 0.59608 |
| test2 | 0.409009 | 0.55155 | 0.58398 | 0.64464 |
| test3 | 0.203241 | 0.18284 | 0.23125 | 0.30406 |
| test4 | 0.151982 | 0.15479 | 0.23128 | 0.1654 |
| test5 | 0.280568 | 0.40664 | 0.43386 | 0.35902 |
| Average | 0.274267 | 0.351546 | 0.38594 | 0.41384 |
由表2可看出，在此小型观赏鱼类群体的目标跟踪数据集上，MixDLA的MOTA指标是最高的。MixDLA模型对不同的特征层加入自适应的特征融合权重，保留鱼类目标共有的深度外观特征信息，并提取不同鱼类个体间的浅层特征加以区分；同时，在建立不同目标个体的运动特性模型的基础上，引入反映鱼群群体运动的群体运动特征，提高了特征提取和跟踪关联的全面性与鲁棒性。
7.可视化
调用Python语言的Matplotlib库，实现鱼类跟踪场景的实时绘制，并输出包含跟踪框、目标类别、身份序号信息的可视化图像。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，包括以下步骤：
S1：获取鱼类群体图像数据集，对鱼类群体图像数据集进行预处理；
S2：将预处理得到的鱼类群体图像数据集划分为训练集和测试集；
S3：搭建MixDLA模型；
S4：利用训练集对MixDLA模型进行训练，并利用测试集对训练后的MixDLA模型进行测试，得到训练完成的MixDLA模型；
S5：搭建时序相关的BF-Tracking模型，将训练完成的MixDLA模型与BF-Tracking模型相连接，得到时序相关的信息融合检测与跟踪模型，并利用时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪，输出检测与跟踪结果；
其中，MixDLA模型表示联合检测跟踪模型，BF-Tracking模型表示自适应决策融合跟踪模型。
2.根据权利要求1所述的时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，步骤S1所述的对鱼类群体图像数据集进行预处理的过程为：
将采集的鱼类群体图像数据集中的图像进行区域裁剪与尺寸重置，得到预处理完成的鱼类群体图像数据集。
3.根据权利要求2所述的时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，
将预处理完成的鱼类群体图像数据集划分为训练集T1与测试集T2；
对所述训练集T1内的鱼类群体图像数据进行类别标志、身份标志和检测框区域标注，并保存为通用检测数据集格式。
4.根据权利要求3所述的时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，步骤S3中搭建的MixDLA模型包括：
Backbone网络层、Neck网络层和Head网络层；
其中，Backbone网络层用于提取特征图并对特征图进行特征编码；Neck网络层用于对Backbone网络层编码后的特征图进行图像特征提取；Head网络层用于对Neck网络层提取的图像特征进行运动预测。
5.根据权利要求4所述的时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，步骤S4所述中采用随机梯度下降优化器SGD对MixDLA模型进行训练。
6.根据权利要求5所述的时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，对MixDLA模型进行训练的具体过程为：
S41：将训练集T1输入MixDLA模型的Backbone网络层，利用Backbone网络层提取训练集T1中的特征图，根据提取的特征图，利用迭代聚合函数I对整个MixDLA模型网络进行连接，使用到的迭代聚合函数I表达式为：
对提取的特征图进行特征编码，将特征编码后的特征图传输至Neck网络层；
其中，n表示网络的深度层数，N表示聚合节点，x表示当前节点的特征参数；
S42：利用Neck网络层对特征编码后的特征图进行解码，利用分层聚合函数对特征图中的浅层图像特征与深层图像特征进行提取，提取过程中使用到的分层聚合函数表达式为：
其中，x表示当前节点的特征参数，n表示网络的深度层数，N表示聚合节点，V表示纵向聚合，片表示横向聚合；
引入自适应特征融合函数Y，表达式为：
其中，w表示自适应定义的权函数，y表示线性相加；
利用自适应特征融合函数以线性相加的方式将提取的浅层图像特征叠加至深层图像特征中，线性相加表达式满足：
y(a，b)＝f(w1x1(a，b)+w2x2(a，b))，(a，b)∈Z；
将提取的浅层图像特征与深层图像特征传输至Head网络层；
其中，f()表示融合特征的映射，(a，b)表示当前通道二维特征层上的某一点，x表示当前通道二维特征层上的某一点上的特征值，w表示自适应定义的权函数，Z表示单一通道上特征层特征值的集合；
S43：利用Head网络层对提取的浅层图像特征与深层图像特征进行鱼类目标的运动预测，并输出运动预测结果；
S44：设训练过程中的损失函数为Losstrain，表达式为：
其中，i表示鱼类目标，t表示鱼类目标的当前帧，t-1表示鱼类目标的过去帧，p表示鱼类目标的位置，G表示真值；
利用测试集T2对完成每轮次训练的MixDLA模型进行测试，当损失函数Losstrain输出的值收敛时，得到训练完成的MixDLA模型，表达式为：
7.根据权利要求6所述的时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，步骤S5中搭建的时序相关的BF-Tracking模型包括：
检测框匹配模块，用于接收MixDLA模型输出的鱼类群体运动预测结果，并根据鱼类群体运动预测结果生成自适应历史信息融合结果；
轨迹关联模块，用于根据所述自适应历史信息融合结果生成鱼类群体的跟踪轨迹；
可视化模块，用于将检测框匹配模块与轨迹关联模块的信息融合，输出对鱼类群体目标的检查与跟踪结果。
8.根据权利要求7所述的时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，步骤S5所述的利用时序相关的信息融合检测与跟踪模型对鱼类群体进行检测与跟踪的具体过程为：
S51：利用训练完成的MixDLA模型对待检测的鱼类群体图像数据集进行鱼类群体运动预测并输出预测结果；
S52：利用BF-Tracking模型根据所述MixDLA模型的鱼类群体运动预测结果，对鱼类群体进行检测与跟踪，并输出检测与跟踪结果。
9.根据权利要求8所述的时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，步骤S51所述的利用训练完成的MixDLA模型对待检测的鱼类群体图像数据集进行检测的具体过程为：
将待检测的鱼类群体图像数据集进行区域裁剪与尺寸重置预处理，并将预处理完成的鱼类群体图像数据集输入MixDLA模型；
利用MixDLA模型中的Backbone网络层对鱼类群体图像数据集进行特征图提取，并对特征图进行特征编码；
利用MixDLA模型中的Neck网络层将特征编码后的特征图进行解码，并提取图像特征；
利用MixDLA模型中的Head网络层对提取的图像特征进行鱼类群体运动预测，生成鱼类目标的位置热点p(x，y)和运动预测向量v。
10.根据权利要求9所述的时序相关的自适应信息融合鱼类群体跟踪方法，其特征在于，步骤S52所述的对鱼类群体进行检测与跟踪的具体过程为：
S521：利用BF-Tracking模型中的检测框匹配模块接收MixDLA模型中Head网络层生成的鱼类目标的位置热点p(x，y)和运动预测向量v，并将位置热点p(x，y)和运动预测向量v进行回归，得到两组检测框；
将两组检测框进行融合，融合表达式满足：
lf，tf，rf，bf＝min[(pa，pb)]p for p in[l，t，r，b]；
在两组检测框融合的过程中，通过联结欧氏距离最小的鱼类目标位置热点点对，保证两组检测框融合的损失达到最小，表达式满足：
其中，[l，t，r，b]是常用的表示矩形框的格式，分别指代了矩形框的左侧、顶部、右侧和底部位置，RA与RB分别表示两组检测框的检测结果；
引入前后向跟踪原理，求当前帧与过去帧的距离权重和方向权重，过程满足：
将过去帧t-1至当前帧t所有的鱼类目标跟踪运动预测向量的平均值vavg′作为群体运动向量，则距离权重的表达式满足：
方向权重的表达式满足：
其中，v′表示过去帧的移动预测向量；
利用距离权重与方向权重对当前帧t的运动预测向量v进行微调，过程满足：
|vBF|＝wd|v|；
∠vBF＝wo∠v；
其中，vBF表示自适应历史信息融合结果；
S522：利用轨迹关联模块将自适应历史信息融合结果vBF连接形成鱼类群体的跟踪轨迹，得到鱼类目标的身份序号，表达式满足：
IDf＝min(ID1，ID2，...，IDn)；
S523：利用可视化模块将检测框匹配模块与轨迹关联模块对鱼类群体目标的检测与跟踪信息进行融合，将信息融合结果以可视化图像的形式输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311077063.2A CN117173743A (zh) | 2023-08-24 | 2023-08-24 | 一种时序相关的自适应信息融合鱼类群体跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311077063.2A CN117173743A (zh) | 2023-08-24 | 2023-08-24 | 一种时序相关的自适应信息融合鱼类群体跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117173743A true CN117173743A (zh) | 2023-12-05 |
Family
ID=88943998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311077063.2A Pending CN117173743A (zh) | 2023-08-24 | 2023-08-24 | 一种时序相关的自适应信息融合鱼类群体跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117173743A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611636A (zh) * | 2024-01-23 | 2024-02-27 | 中国水产科学研究院黄海水产研究所 | 一种鱼类跟踪方法和系统 |
-
2023
- 2023-08-24 CN CN202311077063.2A patent/CN117173743A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611636A (zh) * | 2024-01-23 | 2024-02-27 | 中国水产科学研究院黄海水产研究所 | 一种鱼类跟踪方法和系统 |
| CN117611636B (zh) * | 2024-01-23 | 2024-04-26 | 中国水产科学研究院黄海水产研究所 | 一种鱼类跟踪方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108492272B (zh) | 基于注意力模型及多任务神经网络的心血管易损斑块识别方法及系统 | |
| Ruan et al. | Multi-correlation filters with triangle-structure constraints for object tracking | |
| CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
| US11640714B2 (en) | Video panoptic segmentation | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| US9330336B2 (en) | Systems, methods, and media for on-line boosting of a classifier | |
| CN117173743A (zh) | 一种时序相关的自适应信息融合鱼类群体跟踪方法 | |
| CN113066064A (zh) | 基于人工智能的锥束ct图像生物结构识别及三维重建系统 | |
| CN111738295A (zh) | 图像的分割方法及存储介质 | |
| CN113657414B (zh) | 一种物体识别方法 | |
| CN114882204A (zh) | 船名自动识别方法 | |
| CN112070181B (zh) | 一种基于图像流的协同检测方法及装置、存储介质 | |
| CN113011359B (zh) | 一种基于图像的同时检测平面结构和生成平面描述的方法及应用 | |
| Zheng et al. | Attention assessment based on multi‐view classroom behaviour recognition | |
| CN106778859A (zh) | 一种基于数据密度峰值的自标记半监督分类方法及装置 | |
| CN113553975A (zh) | 基于样本对关系蒸馏的行人重识别方法、系统、设备及介质 | |
| CN113723425A (zh) | 一种飞机型号识别方法、装置、存储介质及设备 | |
| CN111144469B (zh) | 基于多维关联时序分类神经网络的端到端多序列文本识别方法 | |
| CN107563327B (zh) | 一种基于自步反馈的行人重识别方法及系统 | |
| CN116109649A (zh) | 一种基于语义错误修正的3d点云实例分割方法 | |
| CN111723737B (zh) | 一种基于多尺度匹配策略深度特征学习的目标检测方法 | |
| CN114898290A (zh) | 一种海上船舶实时检测方法及系统 | |
| Deng et al. | An automatic body length estimating method for Micropterus salmoides using local water surface stereo vision | |
| CN116740721B (zh) | 手指查句方法、装置、电子设备及计算机存储介质 | |
| CN116978008B (zh) | 一种融合rgbd的半监督目标检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |