CN113470076B - 一种平养鸡舍黄羽鸡多目标跟踪方法 - Google Patents
一种平养鸡舍黄羽鸡多目标跟踪方法 Download PDFInfo
- Publication number
- CN113470076B CN113470076B CN202110793190.7A CN202110793190A CN113470076B CN 113470076 B CN113470076 B CN 113470076B CN 202110793190 A CN202110793190 A CN 202110793190A CN 113470076 B CN113470076 B CN 113470076B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- frame
- detection
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000287828 Gallus gallus Species 0.000 title claims abstract description 82
- 235000013330 chicken meat Nutrition 0.000 title claims abstract description 82
- 210000003746 feather Anatomy 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 102
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 abstract description 8
- 230000002776 aggregation Effects 0.000 abstract description 2
- 238000004220 aggregation Methods 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 9
- 241001465754 Metazoa Species 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 244000144972 livestock Species 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种平养鸡舍黄羽鸡多目标跟踪方法。该方法包括构建目标检测数据集和多目标跟踪数据集，利用目标检测数据集训练改进YOLOv3模型，作为多目标跟踪的检测器，结合训练后的改进YOLOv3模型与Deep SORT模型，实现黄羽鸡的多目标实时跟踪。本发明针对平养舍内黄羽鸡尺度变化较小，且频繁发生聚集现象这一特点做出改进，改进后的YOLOv3模型mAP高达93.2％，超过其他目标检测算法，速度达到29FPS，较YOLOv3提高了23.4FPS。将改进后的目标检测模型与Deep SORT算法相结合，实现了黄羽鸡的多目标跟踪。
Description
技术领域
本发明涉及平养鸡舍黄羽鸡多目标跟踪方法技术领域，具体涉及一种平养鸡舍黄羽鸡多目标跟踪方法。
背景技术
随着社会经济的迅速发展和人民生活水平的提高，人民群众对鸡肉的需求量与日俱增，大幅促进鸡禽的规模化养殖。其中，黄羽鸡具有生长快、不易受感染等特点，其肉质细嫩、口感好，广泛应用在餐饮行业以及人民日常饮食中，是中国人喜好的品种，2020年的消费量已经达到45亿只，和白羽鸡相当。近年来随着人们对鸡肉的需求不断增加，黄羽鸡的养殖规模不断扩大，精细化管理愈加困难。实时感知不同黄羽鸡的运动行为，掌握其行为状态，有助于及时发现黄羽鸡异常，提高鸡肉质量和产量。多目标实时跟踪作为行为实时感知的基础，对于黄羽鸡养殖具有重要意义。
目前众多学者就动物的行为实时感知开展了研究。部分学者研制可穿戴设备，利用安装在动物身上的追踪设备来收集动物的运动信息，获取其行为数据，再借助机器学习等方法分析数据，以实现对动物行为的监测。由于动物行为的不确定性，导致可穿戴设备的损坏率较高，在制作、维护上的成本增加，不符合养殖场的需求。相比之下，利用养殖场已有的监控视频对牲畜进行管理具有使用便利、普及度高、成本低的优点，非常适合养殖场的需求。
近年来，随着深度学习技术的不断进步，深度学习在动物分析研究中的应用越来越多。在多目标跟踪算法方面，多目标跟踪的跟踪效果很大程度上取决于目标检测的精度。随着深度学习的发展，基于深度学习的目标检测算法也愈加成熟，目前可划分为One-stage检测算法与Two-stage检测算法。One-stage算法主要有YOLO系列算法、SSD、RetinaNet等。在保证跟踪结果准确程度的同时，对禽畜进行跟踪还需要满足实时性的要求。在目标检测方面，One-stage检测算法较Two-stage检测有着更快的推理速度，更符合多目标跟踪的要求，而在One-stage检测算法中，YOLOv3模型的精度高于大部分One-stage检测算法。
在多目标跟踪算法方面，基于匈牙利算法的后端追踪优化算法，如SORT算法、DeepSORT算法，能够达成实时跟踪的要求，其中Deep SORT算法在SORT算法的基础上，通过小型CNN网络提取目标的外观信息，实现了目标短暂消失后的再跟踪，明显提高了多目标的跟踪效果。
然而这些算法在平养舍鸡只的检测和追踪中应用较少。黄羽鸡相较于其他被测目标具有尺寸小、且尺度变化不大的特点，现有的目标检测算法无法在黄羽鸡检测上发挥应有的检测效果。此外由于平养舍相对笼养舍更大，鸡只活动更为自由且鸡只存在聚集行为，这些都进一步加大了平养舍中黄羽鸡多目标追踪的难度。
发明内容
本发明的目的是针对现有技术存在的不足，提供一种平养鸡舍黄羽鸡多目标跟踪方法。
为实现上述目的，本发明提供了一种平养鸡舍黄羽鸡多目标跟踪方法，包括：
步骤1，构建目标检测数据集和多目标跟踪数据集；
步骤2，利用目标检测数据集训练改进YOLOv3模型，作为多目标跟踪的检测器；所述改进YOLOv3模型包括MobileNetV2主干网络和与主干网络连接的3个检测分支，所述MobileNetV2中Inverted residual模块与深度残差收缩网络相结合组成DRSN-Invertedresidual模块，以形成主干网络DRSN-MobileNetV2，所述3个检测分支上分别插有1个CBAM模块，所述改进YOLOv3模型并采用SE模块将特征金字塔的高层中提取到的信息以相乘的方式融合到浅层网络，以深层网络的语义信息引导低层网络的语义提取；
步骤3，结合训练后的改进YOLOv3模型与Deep SORT模型，实现黄羽鸡的多目标实时跟踪。
进一步的，所述步骤3具体包括：
采集平养鸡舍内的俯视视频，使用OpenCV将视频处理成视频帧，然后使用改进YOLOv3模型提取出深度特征得到候选框，得到目标的位置及深度特征，使用非极大值抑制算法去除重叠框，得到当前帧的检测框；
通过卡尔曼滤波构建运动模型，对目标的运动状态进行预测，以得到当前帧的跟踪预测框，使用8个参数描述目标的位置和运动信息，分别为跟踪预测框的中心坐标(μ，v)，长宽比γ，高度h和它们各自在图像坐标中的速度信息将当前帧的检测框与跟踪预测框进行加权平均，最终得到目标在当前帧的运动信息；
融合外观信息和运动信息使用级联匹配策略进行目标关联，其中，运动信息关联包括：使用马氏距离计算所述检测框和跟踪预测框之间的距离d(1)(i，j)为：
其中dj表示第j个检测框的位置，yi表示第i个跟踪预测框的位置，Si代表了最终检测框的位置与平均跟踪预测框的位置之间的协方差矩阵，T表示转置，若求得的马氏距离小于指定的阈值t(1)，则此次运动状态关联视为成功；
外观信息关联包括：为第i个追踪器建立一个特征向量的集合Ri，保留过去Lk次成功跟踪后的目标的检测框对应的特征向量，当第i个追踪器的集合内的特征向量和第j个物体检测框对应的特征向量/>之间的最小余弦距离小于或等于特定阈值t(2)时，则认为两者的外观信息关联，所述最小余弦距离的计算方式如下：
级联匹配之后，对未匹配的检测框、未确认状态的跟踪预测框和未匹配的跟踪预测框进行IOU匹配，若匹配成功，则更新卡尔曼滤波器。
进一步的，构建目标检测数据集包括：
采集多张平养鸡舍内的俯视图像，在LabelImg软件中使用矩形框对所述图像中的黄羽鸡进行标注，标注生成的标签信息包括矩形框主对角线上两点的坐标，以反映出黄羽鸡的中心位置和宽高。
进一步的，采用Mosaic数据增强方法对目标检测数据集中的图像进行处理，每次读取多张图像，对每次读取的多张图像处理后拼接为一张图像，并以拼接后的图像构建形成目标检测数据集。
进一步的，对所述多张图像处理包括分别对多张图像进行翻转、缩放和色域变化处理。
进一步的，所述多张图像包括4张图像。
进一步的，构建多目标跟踪数据集包括：
使用实际场景下的监控视频来验证随时间的追踪效果，从中挑选出黄羽鸡群活跃程度较高，位置变化较大的视频片段作为测试视频，使用DarkLabel软件对测试视频进行标注，根据标注过程中的不同标号来区分不同个体。
进一步的，所述步骤2具体包括：
对改进YOLOv3模型预设9个锚框，并以每3个锚框为一组，作为3个检测层的默认锚框；
在检测过程中，每个检测层将图像划分为S×S的网格，待测物体的中心坐标落在某个网格中，则该网格负责预测该目标；
设定网格位置为(Cx，Cy)，其中，Cx为网格的左上角在x轴的坐标值，Cy为网格的左上角在y轴上的坐标值；
网格负责预测的边界框表示为(tx，ty，tw，th，C)，其中(tx，ty)是该边界框中心位置相对网格左上角的相对坐标，(tw，th)为边界框的宽高对于锚框的宽高(Pw，Ph)的缩放因子，C为边界框的置信度；
预测的边界框坐标信息和宽高定义式为：
bx＝σ(tx)+Cx
by＝σ(ty)+Cy
其中，bx，by为边界框的中心坐标，bw，bh分别为边界框的宽和高，σ为sigmoid激活函数，Pw，Ph分别为锚框的宽和高，e为指数；
将目标检测数据集标注的矩形框的中心坐标与宽高映射到特征图上得到gx，gy，gw，gh与bx，by，bw，bh构成边界框损失，矩形框置信度与预测边界框置信度C构成置信度损失；
将边界框损失、置信度损失共同构成损失函数，通过反向传播不断优化模型权值使损失函数收敛于阈值。
有益效果：1、本发明在YOLOv3模型的基础上，针对平养舍内黄羽鸡尺度变化较小，且频繁发生聚集现象这一特点做出改进。改进后的YOLOv3模型mAP高达93.2％，超过其他目标检测算法，速度达到29FPS，较YOLOv3提高了23.4FPS。
2、将改进后的目标检测模型与Deep SORT算法相结合，实现了黄羽鸡的多目标跟踪。实验数据证明，本发明所述模型在检测与跟踪方面都优于YOLOv3-DeepSORT模型：MOTA与IDF1分别较YOLOv3-DeepSORT模型提高了2.9％和4.7％，ID switch的次数减少了23次，是YOLOv3-DeepSORT模型的37.8％，检测器的精确率与召回率也均有提升。
附图说明
图1是本发明实施例的平养鸡舍黄羽鸡多目标跟踪方法的流程图；
图2是本发明实施例的改进YOLOv3模型的结构示意图；
图3是本发明实施例的改进YOLOv3模型训练效果图；
图4是黄羽鸡的多目标实时跟踪的流程图；
图5是改进YOLOv3模型获得检测框的示意图；
图6是结合改进YOLOv3模型与Deep SORT模型对黄羽鸡的多目标实时跟踪示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
如图1所示，本发明实施例提供了一种平养鸡舍黄羽鸡多目标跟踪方法，包括：
步骤1，构建目标检测数据集和多目标跟踪数据集。具体的，构建目标检测数据集包括：采集多张平养鸡舍内的俯视图像，在LabelImg软件中使用矩形框对图像中的黄羽鸡进行标注，从而构建形成目标检测数据集。标注生成的标签信息可以以xml格式存储，标签信息包括矩形框主对角线上两点的坐标，以反映出黄羽鸡的中心位置和宽高。黄羽鸡的中心位置和宽高即为矩形框的中心位置和宽高，矩形框的中心位置和宽高可以通过矩形框主对角线两点的坐标计算获得。在采集平养鸡舍内的俯视图像时，可以每隔10秒对进行一次图像采集，采集时间段包括上午10时-11时，下午1时-3时，晚上9时-10时，可以抽取500帧图像来构建数据集，每帧图像中有45只黄羽鸡，训练集和测试集按9∶1划分，故训练集中样本数量为：黄羽鸡20250只，测试集样本数量为：黄羽鸡2250只。
对于以上标注后的图像，可以直接利用标注后的图像构建目标检测数据集，还可采用Mosaic数据增强方法对目标检测数据集中的图像进行处理，每次读取多张图像，优选每次读取为4张图像，对读取的多张图像处理后拼接为一张图像，并以拼接后的图像构建形成目标检测数据集。对每次读取的多张图像处理包括分别对多张图像进行翻转、缩放和色域变化等处理。以此来丰富目标检测数据集，特别是随机缩放增加了很多小目标，增强了网络的鲁棒性。
构建多目标跟踪数据集包括：使用实际场景下的监控视频来验证随时间的追踪效果，从中挑选出黄羽鸡群活跃程度较高，位置变化较大的视频片段作为测试视频，视频长度优选为300帧，使用DarkLabel软件对测试视频进行标注，根据标注过程中的不同标号来区分不同个体。
步骤2，利用目标检测数据集训练改进YOLOv3模型，作为多目标跟踪的检测器。YOLOv3是一个比较成熟的单阶段目标检测算法，相比两阶段检测算法，单阶段检测算法的结构简单、计算高效，同时具备不错的检测精度。在YOLOv3的基础上，本发明针对目标检测的实时性要求以及平养舍内黄羽鸡尺度变化较小，聚集现象频发的特点提出了3个方向的改进措施。
(1)MobileNetV2
使用MobileNetV2替换了Darknet53作为主干网络。MobileNetV1利用深度可分离结构在牺牲较小检测精度的情况下，大幅降低了模型的计算量与网络层参数。MobileNetV2是MobileNetV1的升级版，它具有两个改进点：
①引入了残差结构，进行先升维、再卷积、再降维的策略，在保持计算量变化不大的情况下获得了更高的检测精度。
②为了避免Relu层对特征的破坏，在利用1x1卷积降维后，直接进行残差网络的加法，保留特征多样性，增强网络的表达能力。
(2)深度残差收缩网络
深度残差收缩网络(DRSN)解决了当样本中含有噪声，或者与标签无关的冗余信息时，深度学习算法的效果会有所降低这一问题。深度残差收缩网络集成了深度残差网络、软阈值化和注意力机制。软阈值化将绝对值小于某个阈值的特征删除，将绝对值大于这个阈值的特征朝着零的方向进行收缩，其实现公式如下：
其中，x表示输入特征，y表示输出特征，τ表示阈值。在这里，阈值由注意力机制自适应学习得到。通过软阈值化将注意力机制提取到的重要的特征保留下来，从而加强了深度神经网络从含噪声信号中提取有用特征的能力。本发明将深度残差收缩网络与MobileNetV2中Inverted residual模块相结合组成DRSN-Inverted residual模块，得到特征提取能力更强的轻量级主干网络DRSN-MobileNetV2。
(3)特征融合与注意力机制
YOLOv3模型采用K-means算法聚类得到9个锚框，并且以每三个为一组，作为大输出图，中等输出图和小输出图的默认锚框。由于黄羽鸡数据集的目标尺寸分布较为集中，由K-means算法聚类得到的锚框之间的尺寸都相对接近，导致尺寸相近的物体会被强制分到不同层去预测，不符合感受野的原则，对此本发明仅保留了一个Yolo head进行预测。在此基础上，参考ThunderNet中的上下文增强模块设计了特征融合部分，在融合YOLOv3的3个检测分支结果的同时，扩大了模型的感受野。但由于不同大小的特征图所包含的语义信息并不相同，而上下文增强模块使用的特征融合方式是将各个模块的特征直接相加，忽略了各个层的不同，因此本发明引入了注意力机制，采用了混合域注意力机制模块CBAM以及通道域注意力机制模块SE。
本发明在3个检测分支上插入CBAM模块，即在原有3个检测分支上串联插入1个通道注意力模块和1个空间注意力模块，通过将跨通道信息和空间信息融合在一起来提取特征，既考虑了不同通道像素的重要性，又考虑了同一通道不同位置像素的重要性。同时使用SE模块，将特征金字塔的高层中提取到的信息以相乘的方式融合到浅层网络，以深层网络的语义信息引导低层网络的语义提取。综合上述三个方向的改进措施，得到改进YOLOv3模型，改进YOLOv3模型的结构如图2所示。
步骤2包括：对改进YOLOv3模型预设9个锚框，并以每3个锚框为一组，作为3个检测层的默认锚框。在检测过程中，每个检测层将图像划分为S×S的网格，待测物体的中心坐标落在某个网格中，则该网格负责预测该目标。设定网格位置为(Cx，Cy)，其中，Cx为网格的左上角在x轴的坐标值，Cy为网格的左上角在y轴上的坐标值。网格负责预测的边界框表示为(tx，ty，tw，th，C)，其中(tx，ty)是该边界框中心位置相对网格左上角的相对坐标，(tw，th)为边界框的宽高对于锚框的宽高(Pw，Ph)的缩放因子，C为边界框的置信度。网格负责预测的边界框坐标信息和宽高定义式为：
bx＝σ(tx)+Cx
by＝σ(ty)+Cy
其中，bx，by为边界框的中心坐标，bw，bh分别为边界框的宽和高，σ为sigmoid激活函数，Pw，Ph分别为锚框的宽和高，e为指数。
将目标检测数据集标注的矩形框的中心坐标与宽高映射到特征图上得到gx，gy，gw，gh与bx，by，bw，bh构成边界框损失，矩形框置信度(取值为1)与预测边界框置信度C构成置信度损失。将边界框损失、置信度损失共同构成损失函数，通过反向传播不断优化模型权值使损失函数收敛于阈值。可参见图3，通过对改进YOLOv3模型进行200次的迭代，最终训练损失稳定在1.1左右，模型收敛。
步骤3，结合训练后的改进YOLOv3模型与Deep SORT模型，实现黄羽鸡的多目标实时跟踪。参见图4至6，具体包括：
采集平养鸡舍内的俯视视频，使用OpenCV将视频处理成视频帧，然后使用改进YOLOv3模型提取出深度特征得到候选框，得到目标的位置及深度特征，使用非极大值抑制算法去除重叠框，得到当前帧的检测框，图5示意出了通过改进YOLOv3模型得到的当前帧的检测框。
通过卡尔曼滤波构建运动模型，对目标的运动状态进行预测，以得到当前帧的跟踪预测框，使用8个参数描述目标的位置和运动信息，分别为跟踪预测框的中心坐标(μ，v)，长宽比γ，高度h和它们各自在图像坐标中的速度信息将当前帧的检测框与跟踪预测框进行加权平均，最终得到目标在当前帧的运动信息。
融合外观信息和运动信息使用级联匹配策略进行目标关联，其中，运动信息关联包括：使用马氏距离计算所述检测框和跟踪预测框之间的距离d(1)(i，j)为：
其中dj表示第j个检测框的位置，yi表示第i个跟踪预测框的位置，Si代表了最终检测框的位置与平均跟踪预测框的位置之间的协方差矩阵，T表示转置，若求得的马氏距离小于指定的阈值t(1)，则此次运动状态关联视为成功；
外观信息关联包括：为第i个追踪器建立一个特征向量的集合Ri，保留过去Lk次成功跟踪后的目标的检测框对应的特征向量，当第i个追踪器的集合内的特征向量和第j个物体检测框对应的特征向量/>之间的最小余弦距离小于或等于特定阈值t(2)时，则认为两者的外观信息关联，所述最小余弦距离的计算方式如下：
级联匹配之后，对未匹配的检测框、未确认状态的跟踪预测框和未匹配的跟踪预测框进行IOU匹配，若匹配成功，则更新卡尔曼滤波器。图6示意出了黄羽鸡的跟踪效果。
本发明将改进YOLOv3模型结合Deep SORT算法实现黄羽鸡多目标跟踪。Deep SORT算法是基于目标检测的多目标跟踪算法，相对于SORT只用相邻帧进行匹配来说，Deep SORT引入了深度外观模型，在目标追踪过程中，提取目标的表观特征进行最近邻匹配，改善了有遮挡情况下的目标追踪效果，也减少了目标ID跳变的问题。在鸡舍这种由于鸡群聚集行为而频繁出现遮挡现象的环境下，Deep SORT有着更为出色的追踪效果。
以下选取了7个定量指标对模型的性能进行了定量评价，其中精度指标有四个：精确率(P)、召回率(R)、F1 Score和mAP(Mean average precision，表示各类别平均精度(AP)的平均值，是一个综合衡量精确率和召回率的指标)，模型复杂度指标有三个：FPS(每秒内可以处理的图片数量)，GFLOPS(模型所需的计算量)和Params(网络模型中需要训练的参数总数)。将Faster R-CNN，SSD和YOLOv3模型与本发明提出的改进YOLOv3模型进行对比，从而验证本发明的优越性。表1给出了各个模型的实验结果的各个指标，包括精确率，召回率，F1score，mAP和FPS。
表1
由表1可以看出，本发明提出的改进YOLOv3模型得到的测试结果的F1score、mAP最高，且是唯一一个精确率与召回率均达到90％以上的模型，说明改进YOLOv3模型相较于其他三个模型有着更优越的综合性能。改进YOLOv3模型F1 score比YOLOv3高0.07，达到了0.91，精确率和召回率相对于YOLOv3分别高出9.95％和3.06％，体现出模型相较于原有网络在性能上的全面提升。就网络的推理速度而言，改进YOLOv3模型是唯一一个FPS超过了25f/s的模型，实现了在GPU上的实时检测，FPS是排在第二的SSD算法的2.6倍。另外，SSD模型与YOLOv3模型均存在漏检现象，漏检鸡只多为遮挡较为严重，或者尺寸较小的鸡只，SSD模型的漏检现象更为严重，Faster R-CNN模型与改进YOLOv3模型检测到了所有鸡只，无漏检现象。
在保持网络其他结构一致的情况下，评估主干网络为MobileNetV2和Darknet53的模型的复杂度，其中MobileNetV2未引入深度残差收缩网络结构。模型复杂度的评估结果如表2所示：
表2
同时，也对两个模型的精度进行了评估，评估结果如表3所示：
表3
由表2可以看出，主干网络为Darknet53的FPS仅为9.31f/s，替换为MobileNetV2后FPS上升至29.48f/s，同时替换后模型的GFLOP和参数量分别是原模型的6.49％和10.09％。进一步结合表2和表3的评估结果，我们发现虽然Darknet53有着更复杂的网络结构，但是替换主干网络后的模型精度并没有明显的下降，甚至Recall和mAP都有小幅的上升。
本发明在引入深度残差收缩网络后，由于特征分布更为紧密，黄羽鸡的特征信息与其他信息能够更好地区分，所以模型对部分遮挡较为严重的黄羽鸡有更好的识别作用，从而降低了漏检的次数，提高了模型的检测精度。进一步对两种模型的检测结果进行精度评估，得到结果如表4所示：
表4
由表4可以看出，在引入深度残差收缩网络之后，模型的各个精度指标均有所提升，同时，检测速度方面仅有5.93％的损失，不影响检测的实时性。
本发明加入CBAM模块后，网络对背景信息的注意力得到降低，但并未将注意力重点集中在黄羽鸡上。加入SE模块后，由于实现了深层网络的语义信息引导低层网络的语义提取，所以网络提取的特征更多地覆盖到了需要识别的目标上。进一步对原有网络、加入CBAM模块后的网络以及加入CBAM模块和SE模块的网络的检测结果进行精度评估，得到结果如表5所示：
表5
由表5可以看出，随着CBAM模块与SE模块的加入，模型的检测精度逐步提升。相比于未引入注意力机制的模型，最终模型的mAP提升了1.02％，F1值提升了0.2。通过上述对比可知，引入注意力机制后网络提取的特征更多地覆盖到了鸡只轮廓上，提高了检测精度。
本发明选用5个指标评价多目标跟踪效果，5个指标分别为ID switch(一条跟踪轨迹中改变目标标号的次数，值越小越好)、MOTA(多目标跟踪准确率)、IDF1(正确识别的检测与真实数和计算检测的平均数之比)、Prcn(检测器的识别精确率)和Rcll(检测器的召回率)。将本发明的改进YOLOv3-DeepSORT模型与YOLOv3-DeepSORT模型进行对比，评价结果如表6所示：
表6
由表6可知，本发明的改进YOLOv3-DeepSORT模型的MOTA为54％，IDF1为72.7％，分别较YOLOv3-DeepSORT模型提高了2.9％和4.7％，ID switch的次数减少了23次，是YOLOv3-DeepSORT模型的37.8％，检测器的精确率与召回率也均有提升。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，其它未具体描述的部分，属于现有技术或公知常识。在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种平养鸡舍黄羽鸡多目标跟踪方法，其特征在于，包括：
步骤1，构建目标检测数据集和多目标跟踪数据集；
步骤2，利用目标检测数据集训练改进YOLOv3模型，作为多目标跟踪的检测器；所述改进YOLOv3模型包括MobileNetV2主干网络和与主干网络连接的3个检测分支，所述MobileNetV2中Inverted residual模块与深度残差收缩网络相结合组成DRSN－Invertedresidual模块，以形成主干网络DRSN－MobileNetV2，所述3个检测分支上分别插有1个CBAM模块，所述改进YOLOv3模型并采用注意力机制模块将特征金字塔的高层中提取到的信息以相乘的方式融合到浅层网络，以深层网络的语义信息引导低层网络的语义提取，所述多目标跟踪数据集用来验证随时间的追踪效果；
步骤3，结合训练后的改进YOLOv3模型与Deep SORT模型，实现黄羽鸡的多目标实时跟踪。
2.根据权利要求1所述的平养鸡舍黄羽鸡多目标跟踪方法，其特征在于，所述步骤3具体包括：
采集平养鸡舍内的俯视视频，使用OpenCV将视频处理成视频帧，然后使用改进YOLOv3模型提取出深度特征得到候选框，得到目标的位置及深度特征，使用非极大值抑制算法去除重叠框，得到当前帧的检测框；
通过卡尔曼滤波器构建运动模型，对目标的运动状态进行预测，以得到当前帧的跟踪预测框，使用8个参数描述目标的位置和运动信息，分别为跟踪预测框的中心坐标(μ,v)，长宽比γ，高度h和它们各自在图像坐标中的速度信息将当前帧的检测框与跟踪预测框进行加权平均，最终得到目标在当前帧的运动信息；
融合外观信息和运动信息使用级联匹配策略进行目标关联，其中，运动信息关联包括：使用马氏距离计算所述检测框和跟踪预测框之间的距离d(1)(i，j)为：
其中dj表示第j个检测框的位置，yi表示第i个跟踪预测框的位置，Si代表了最终检测框的位置与平均跟踪预测框的位置之间的协方差矩阵，T表示转置，若求得的马氏距离小于指定的阈值t(1)，则此次运动状态关联视为成功；
外观信息关联包括：为第i个追踪器建立一个特征向量的集合Ri，保留过去Lk次成功跟踪后的目标的检测框对应的特征向量，当第i个追踪器的集合内的特征向量和第j个物体检测框对应的特征向量/>之间的最小余弦距离小于或等于特定阈值t(2)时，则认为两者的外观信息关联，所述最小余弦距离的计算方式如下：
级联匹配之后，对未匹配的检测框、未确认状态的跟踪预测框和未匹配的跟踪预测框进行IOU匹配，若匹配成功，则更新卡尔曼滤波器。
3.根据权利要求1所述的平养鸡舍黄羽鸡多目标跟踪方法，其特征在于，构建目标检测数据集包括：
采集多张平养鸡舍内的俯视图像，在LabelImg软件中使用矩形框对所述图像中的黄羽鸡进行标注，标注生成的标签信息包括矩形框主对角线上两点的坐标，以反映出黄羽鸡的中心位置和宽高。
4.根据权利要求3所述的平养鸡舍黄羽鸡多目标跟踪方法，其特征在于，采用Mosaic数据增强方法对目标检测数据集中的图像进行处理，每次读取多张图像，对每次读取的多张图像处理后拼接为一张图像，并以拼接后的图像构建形成目标检测数据集。
5.根据权利要求4所述的平养鸡舍黄羽鸡多目标跟踪方法，其特征在于，对所述多张图像处理包括分别对多张图像进行翻转、缩放和色域变化处理。
6.根据权利要求4或5所述的平养鸡舍黄羽鸡多目标跟踪方法，其特征在于，所述多张图像包括4张图像。
7.根据权利要求1所述的平养鸡舍黄羽鸡多目标跟踪方法，其特征在于，所述步骤2具体包括：
对改进YOLOv3模型预设9个锚框，并以每3个锚框为一组，作为3个检测层的默认锚框；
在检测过程中，每个检测层将图像划分为S×S的网格，待测物体的中心坐标落在某个网格中，则该网格负责预测该目标；
设定网格位置为(Cx，Cy)，其中，Cx为网格的左上角在x轴的坐标值，Cy为网格的左上角在y轴上的坐标值；
网格负责预测的边界框表示为(tx，ty，tw，th，C)，其中(tx，ty)是该边界框中心位置相对网格左上角的相对坐标，(tw，th)为边界框的宽高对于锚框的宽高(Pw，Ph)的缩放因子，C为边界框的置信度；
预测的边界框坐标信息和宽高定义式为：
bx＝σ(tx)+Cx
by＝σ(ty)+Cy
其中，bx，by为边界框的中心坐标，bw，bh分别为边界框的宽和高，σ为sigmoid激活函数，Pw，Ph分别为锚框的宽和高，e为指数；
将目标检测数据集标注的矩形框的中心坐标与宽高映射到特征图上得到gx，gy，gw，gh与bx，by，bw，bh构成边界框损失，矩形框置信度与预测边界框置信度C构成置信度损失；
将边界框损失、置信度损失共同构成损失函数，通过反向传播不断优化模型权值使损失函数收敛于阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110793190.7A CN113470076B (zh) | 2021-07-13 | 2021-07-13 | 一种平养鸡舍黄羽鸡多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110793190.7A CN113470076B (zh) | 2021-07-13 | 2021-07-13 | 一种平养鸡舍黄羽鸡多目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113470076A CN113470076A (zh) | 2021-10-01 |
| CN113470076B true CN113470076B (zh) | 2024-03-12 |
Family
ID=77880272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110793190.7A Active CN113470076B (zh) | 2021-07-13 | 2021-07-13 | 一种平养鸡舍黄羽鸡多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113470076B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022812B (zh) * | 2021-11-01 | 2024-05-10 | 大连理工大学 | 一种基于轻量化SSD的DeepSort水面漂浮物多目标跟踪方法 |
| CN115464659B (zh) * | 2022-10-05 | 2023-10-24 | 哈尔滨理工大学 | 一种基于视觉信息的深度强化学习ddpg算法的机械臂抓取控制方法 |
| CN115546705B (zh) * | 2022-11-29 | 2023-05-02 | 天津所托瑞安汽车科技有限公司 | 目标识别方法、终端设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476817A (zh) * | 2020-02-27 | 2020-07-31 | 浙江工业大学 | 一种基于yolov3的多目标行人检测跟踪方法 |
| CN111709287A (zh) * | 2020-05-15 | 2020-09-25 | 南京农业大学 | 基于深度学习的断奶仔猪目标跟踪方法 |
| CN112836639A (zh) * | 2021-02-03 | 2021-05-25 | 江南大学 | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11055854B2 (en) * | 2018-08-23 | 2021-07-06 | Seoul National University R&Db Foundation | Method and system for real-time target tracking based on deep learning |
-
2021
- 2021-07-13 CN CN202110793190.7A patent/CN113470076B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476817A (zh) * | 2020-02-27 | 2020-07-31 | 浙江工业大学 | 一种基于yolov3的多目标行人检测跟踪方法 |
| CN111709287A (zh) * | 2020-05-15 | 2020-09-25 | 南京农业大学 | 基于深度学习的断奶仔猪目标跟踪方法 |
| CN112836639A (zh) * | 2021-02-03 | 2021-05-25 | 江南大学 | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113470076A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113470076B (zh) | 一种平养鸡舍黄羽鸡多目标跟踪方法 | |
| CN107563381B (zh) | 基于全卷积网络的多特征融合的目标检测方法 | |
| CN110516536B (zh) | 一种基于时序类别激活图互补的弱监督视频行为检测方法 | |
| CN110458038B (zh) | 基于双链深度双流网络的小数据跨域动作识别方法 | |
| CN102509305B (zh) | 基于全方位视觉的动物行为检测装置 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN107451565B (zh) | 一种半监督小样本深度学习图像模式分类识别方法 | |
| CN104992223A (zh) | 基于深度学习的密集人数估计方法 | |
| CN111400536B (zh) | 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法 | |
| Lv et al. | A visual identification method for the apple growth forms in the orchard | |
| CN106951870A (zh) | 主动视觉注意的监控视频显著事件智能检测预警方法 | |
| Lu et al. | Multi-object detection method based on YOLO and ResNet hybrid networks | |
| CN112749663B (zh) | 基于物联网和ccnn模型的农业果实成熟度检测系统 | |
| CN111666897A (zh) | 基于卷积神经网络的斑石鲷个体识别方法 | |
| CN112163508A (zh) | 一种基于真实场景的文字识别方法、系统及ocr终端 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN116051996A (zh) | 一种基于多模态信息的二阶段农作物生长预测方法 | |
| CN115115830A (zh) | 一种基于改进Transformer的家畜图像实例分割方法 | |
| Wang et al. | Pig face recognition model based on a cascaded network | |
| CN114782859A (zh) | 一种目标行为时空感知定位模型的建立方法及应用 | |
| Ye et al. | PlantBiCNet: a new paradigm in plant science with bi-directional cascade neural network for detection and counting | |
| CN105893967B (zh) | 基于时序保留性时空特征的人体行为分类检测方法及系统 | |
| Hu et al. | Parallel channel and position attention-guided feature pyramid for pig face posture detection | |
| CN115588150A (zh) | 基于改进YOLOv5-L的宠物犬视频目标检测方法及系统 | |
| CN111950586B (zh) | 一种引入双向注意力的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |