CN111709287A - 基于深度学习的断奶仔猪目标跟踪方法 - Google Patents
基于深度学习的断奶仔猪目标跟踪方法 Download PDFInfo
- Publication number
- CN111709287A CN111709287A CN202010410605.3A CN202010410605A CN111709287A CN 111709287 A CN111709287 A CN 111709287A CN 202010410605 A CN202010410605 A CN 202010410605A CN 111709287 A CN111709287 A CN 111709287A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- tracking
- piglet
- weaned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 230000003068 static effect Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 241000282887 Suidae Species 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 9
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000029142 excretion Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000004297 night vision Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000004438 eyesight Effects 0.000 abstract description 6
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 230000002159 abnormal effect Effects 0.000 abstract 1
- 241000282898 Sus scrofa Species 0.000 description 17
- 238000011156 evaluation Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000009395 breeding Methods 0.000 description 4
- 230000001488 breeding effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241001239379 Calophysus macropterus Species 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000007407 African swine fever Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Business, Economics & Management (AREA)
- Mining & Mineral Resources (AREA)
- Human Resources & Organizations (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Economics (AREA)
- Agronomy & Crop Science (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的断奶仔猪目标跟踪方法，它包括以下步骤：S1、数据采集，获得断奶仔猪的视频数据；S2、将视频数据处理，获得连续静态序列的图片数据；S3、图片数据预处理，进行静态图片数据的特征提取；S4、图片的目标检测识别；S5、目标跟踪。本发明将结合深度学习的计算机视觉技术运用在仔猪目标检测与跟踪上，不仅大大减少了人力成本，也能更近准的定位到异常情况仔猪，及时挽回损失，同时实现无接触式的仔猪目标检测与跟踪，既减少了物理标记成本，又避免了仔猪的应激反应。
Description
技术领域
本发明涉及一种基于深度学习的断奶仔猪目标跟踪方法，属于计算机视觉技术领域，结合深度学习将计算机视觉领域的目标检测与跟踪技术运用到猪只养殖中，以计算机视觉技术检测跟踪仔猪的生理生长信息。
背景技术
断奶仔猪作为生猪养殖业中的关键一环，是生猪养殖业中的重点关注对象，对其运动、采食饮水等行为的掌握，有助于了解分析断奶仔猪的健康状况。在猪只行为监测时，对猪只目标准确跟踪保证其身份在不同场景中的一致性是技术关键。对于仔猪个体跟踪确定目标身份，最初通过人为观察的方式实现，该方法主观性强，并且与仔猪的直接接触易导致仔猪感染疫病，进而造成经济损失；随着RFID技术的发展，借助电子耳标确定仔猪身份，该方法易造成仔猪应激反应，不符合福利养殖；在防控非洲猪瘟的疫情下，大型猪场禁止外来人员进入，同时减少饲养员进出猪舍的次数，在猪舍安装摄像头，通过监控视频来观察仔猪各类行为状态，分析其生长过程中的健康状况，需要一种自动跟踪手段，在监控视频中确定不同身份的仔猪目标，同时观察其生理生长信息，代替人工观察法。
发明内容
本发明针对背景技术中存在的问题，提出了一种基于深度学习的断奶仔猪目标跟踪方法。
技术方案：一种基于深度学习的断奶仔猪目标跟踪方法，它包括以下步骤：
S1、数据采集，获得断奶仔猪的视频数据；
S2、将视频数据处理，获得连续静态序列的图片数据；
S3、图片数据预处理，进行静态图片数据的特征提取；
S4、图片的目标检测识别；
S5、目标跟踪。
优选的，S1具体为：利用红外夜视摄像头安装在猪舍排泄区的正上方进行视频采集。
优选的，S2具体包括以下步骤：
S2-1、从录制的视频文件中每隔固定帧提取一张图片，保存为jpg格式；
S2-2、数据清洗：删除猪体模糊的无效图片，得到有效图片。
优选的，S3具体包括以下步骤：
S3-1、数据标注：使用标注工具进行人工标注，得到相同文件名的xml的文件，该文件包含标注框的位置和目标类别信息；
S3-2、划分数据集：按约9:1的比例得到训练集、预测集；
S3-4、数据集格式化；
S3-5、使用深度学习模型从训练集数据中学习新的特征。
优选的，S4具体包括以下步骤：
S4-1、以YOLOv3网络模型为基础构建断奶仔猪目标检测模型，以DarkNet-53作为基础网络，引入残差模块，使网络层数能够不断加深且不易造成梯度消失或训练退化的问题；
S4-2、采用了3个尺度的特征图，采用k-means聚类方法得到9个先验框，划分到3个尺度特征图上；对于不同尺度的特征图使用不同大小的先验框，从而加强对图像特征的学习，提高对多个仔猪目标的识别精确度；
S4-3、设计类FPN结构，将低阶与高阶特征融合，提高对不同尺度仔猪目标的检测精度，适合同时进行多个仔猪目标的检测；
S4-4、将标注好的数据输入到深度卷积神经网络中，修改训练参数，在Darknet框架下经过离线迭代训练得到包含神经网络参数的模型，调用生成的模型检测断奶仔猪目标；
S4-5、使用目标检测模型进行断奶仔猪的目标检测。
优选的，S5中具体包括：
S5-1、输入数据通过断奶仔猪目标检测模型检测出断奶仔猪目标，去除置信度小于0.7的检测结果；
S5-2、将检测的目标分配给跟踪器进行跟踪，并且赋予目标ID；
S5-3、使用卡尔曼滤波器对上一帧中的所有跟踪器进行遍历并预测下一帧跟踪结果；
S5-4、关联阶段，确认跟踪状态，将检测框和预测框结果的IOU情况作为输入，计算马氏距离Mahalanobis distance作为断奶仔猪目标运动信息关联度d(1)(i,j)，对应的马氏阈值为t(1)取9.4877；
S5-5、计算特征余弦距离cosine distance作为断奶仔猪目标外观信息的关联度d(2)(i,j)，对应特征余弦距离阈值取0.6；
S5-6、将运动信息关联度和外观信息关联度进行线性加权，所得的结果Ci,j作为最终的关联度量，其中Ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)，λ是用于调整这两种不同关联度的权重参数，λ的选择根据具体的数据集确定；
S5-7、匹配阶段，通过匈牙利匹配算法进行IOU匹配，将小于指定的阈值情况视为匹配失败，将未匹配的情况删除；采用级联匹配解决遮挡带来的仔猪目标跟踪错误；
S5-8、更新跟踪结果，循环S5-1～S5-7步骤；
S5-9、生成断奶仔猪目标跟踪结果。
本发明的有益效果
本发明将结合深度学习的计算机视觉技术运用在仔猪目标检测与跟踪上，不仅大大减少了人力成本，同时实现无接触式的仔猪目标检测与跟踪，既减少了物理标记成本，又避免了仔猪的应激反应。
附图说明
图1为本发明的系统流程图
图2为本发明的方案设计图
图3为本发明使用的yolov3网络结构图
图4为本发明的网络模型训练流程图
图5为本发明实例中余弦距离示意图
图6为本发明实例中跟踪视频截帧示意图
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
本次发明专利研究的重点和难点在于：
(1)仔猪目标检测算法研究
对静态图像数据和动态视频数据中的仔猪目标进行特征提取和抽象化特征学习，根据不同质量和数量的图像采取适当的机器学习和深度学习算法。
(2)基于深度学习的仔猪目标跟踪研究
为解决不同仔猪目标具有极大的类内相似度，将动态的检测(视频序列检测)分割成一定时间段内的静态检测(每一帧)，以检测实现类似跟踪的效果(伪跟踪，对每一帧做检测)。
为解决上述困难，本发明提供以下技术路线：
本发明的系统流程图如图1所示，首先是数据的采集，利用红外夜视摄像头安装在猪舍排泄区的正上方进行视频采集；将视频数据预处理，之后将视频数据处理为图片数据，接着对图片数据进行预处理，将无效数据删除，将深度学习目标检测领域主流的YOLOv3算法应用于断奶后约30-40日龄仔猪的目标检测，通过卡尔曼滤波预测断奶仔猪运动状态，匈牙利匹配算法对预测后的跟踪框与当前帧的检测框进行匹配，实现具有深度关联度量的断奶仔猪目标在线实时跟踪。具体实现的方案设计如图2所示。
需要具体解决的关键问题包括：
(1)视频数据处理成连续静态序列的图片数据
(2)断奶仔猪静态图片数据的特征提取
(3)断奶仔猪目标检测问题
(4)视频序列的断奶仔猪目标跟踪问题
针对以上问题，本发明提供了以下具体方案，并结合一个具体实例进行说明：
(1)视频序列处理成图片数据
利用基于BSD许可(开源)发行的跨平台计算机视觉库OpenCV，将录制的视频数据处理成图片数据，过程如下：
(1-1)图片获取：从录制的视频数据每隔25帧(约1s)从视频文件中提取一张图片，保存为jpg格式；
(1-2)数据清洗：删除猪体模糊的无效图片，得到有效图片8769张；
(1-3)数据标注：使用精灵标注助手进行人工标注，得到相同文件名的xml的文件，该文件包含标注框的位置和目标类别等信息；
(1-4)划分数据集：按约9:1的比例得到训练集、预测集；
(1-5)数据集格式化：制作PASCAL VOC标准格式数据集，用于检测模型训练和预测，制作MOT格式数据集，用于跟踪性能的评估。
(2)静态图片数据的特征提取
深度学习与传统机器学习识别方法的最大不同在于它是从大数据中自动学习特征，而非采用手工设计的特征。本专利的基于深度学习的断奶仔猪目标跟踪算法，利用深度学习模型在目标特征提取上的优势，从训练数据中静态图片中很快学习得到新的有效的特征表示，实现无接触式的断奶仔猪目标检测与跟踪。
(3)断奶仔猪目标检测
本专利的断奶仔猪目标跟踪算法基于目标检测的结果来进行目标跟踪。选择YOLOv3目标检测算法，把针对断奶仔猪目标检测问题处理成回归问题，(1)调整网络结构，利用多尺度特征进行检测；(2)在基本的图像特征提取方面，采用了Darknet-53的网络结构。引入残差网络(Residual Network)，避免了因层数太多导致梯度问题。在一些层之间设置了快捷链路(Shortcut Connections)。在保证检测速度优势的前提下，提升了预测精度。
本专利中采用的YOLOv3网络模型结构如图3所示，模型以DarkNet-53作为基础网络，引入残差模块，使网络层数能够不断加深且不易造成梯度消失或训练退化的问题，采用了3个尺度的特征图(当输入为416×416时)：13×13，26×26，52×52，将k-means聚类方法得到9个先验框，划分到3个尺度特征图上，尺度更大的特征图使用更小的先验框，从而加强对图像特征的学习，提高对多个仔猪目标的识别精确度。利用FPN结构(FPN即特征图金字塔网络，参考论文题目Feature Pyramid Networks for Object Detection，yolov3算法借鉴这种思想，采用(类似FPN)上采样和融合做法，设计了类似FPN结构，参考论文：YOLOv3:AnIncremental Improvement)，将低阶与高阶特征融合，提高对不同尺度仔猪目标的检测精度，适合同时进行多个仔猪目标的检测。
将在猪舍实验区采集得到的视频分解成图像数据，图片中的断奶仔猪目标利用开源工具进行人工标注，将标注好的数据输入到深度卷积神经网络中，在Darknet框架下经过离线迭代训练得到模型权重文件，利用生成的模型检测断奶仔猪目标。网络模型训练流程如图4所示。
(4)视频序列的断奶仔猪目标跟踪问题
断奶仔猪目标跟踪的关键是解决视频数据中不同时刻的同一仔猪目标，位置发生变化后的关联匹配问题，本发明采用卡尔曼滤波和匈牙利匹配算法。卡尔曼滤波可以基于仔猪目标前一时刻的位置，来预测当前时刻的位置。而匈牙利算法可以判定当前帧的某个仔猪目标，是否与前一帧的某个仔猪目标相同。
本专利中把断奶仔猪目标检测框和跟踪框的IOU情况作为输入，同时结合马氏距离(Mahalanobis distance)和特征余弦距离(cosine distance)分别考虑运动信息和外观信息的关联度量，通过融合度量的方式计算检测和跟踪轨迹之间的匹配程度输出匹配结果。
(4-1)仔猪目标运动信息的关联程度通过检测框与跟踪框之间的马氏距离来描述。其计算公式如公式(4-1)所示：
d(1)(i,j)＝(dj-yi)TSi -1(dj-yi) (4-1)
其中，dj表示第j个仔猪目标检测框的位置，yi表示第i个跟踪器对仔猪目标的预测位置，Si表示仔猪目标检测位置与平均跟踪位置之间的协方差矩阵。
(4-2)引入最小余弦距离作为外观信息的关联度量标准。余弦距离也称为余弦相似度，是用二维空间中两点与原点连接线段之间夹角θ的余弦值作为衡量两个仔猪目标间差异大小的度量。如图5所示，余弦距离越大，表示夹角越小，那么两点越相似。如果余弦距离为1(最大值)，那么表示两者非常相似，但并不一定相同。
对于每个仔猪目标检测框dj计算一个feature向量rj，且满足||rj||＝1；当轨迹太长导致表观产生变化，所以只对每个轨迹保留最新Lk个关联外观信息的feature向量的原型库
计算使用第i个轨迹和第j个轨迹的最小余弦距离来衡量检测和轨迹之间的外观相似程度，计算公式如(4-2)所示。
如果上述的距离小于指定的阈值，那么这个关联就是成功的。
最后将运动信息关联度和外观信息关联度进行线性加权，所得的结果作为最终的关联度量，公式如(4-3)所示。
Ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j) (4-3)
其中λ是用于调整这两中不同关联度的权重参数。参数λ的选择要看具体的数据集，比如由于运动幅度较大的拍摄而得的数据集，其运动信息关联程度干扰较大，λ取0，即运动信息关联度不予考虑，采用外观信息关联度。
当仔猪目标出现遮挡情况后，随后的卡尔曼滤波预测会增加与仔猪目标位置相关的不确定性。引入级联匹配解决遮挡带来的仔猪目标跟踪错误。
(5)视频序列的断奶仔猪目标跟踪结果
基于断奶仔猪目标跟踪模型，选取部分跟踪视频进行截帧处理，如图6中所示，灰色框为仔猪目标检测框、白色框带有目标ID为预测框。
选择MOTA和MOTP作为断奶仔猪目标跟踪算法的主要评价指标，辅助以FP、FN、FM、IDS等指标进行跟踪模型的性能评估，上述指标对于目标跟踪算法模型的评价关系如表1所示。
表1各项指标与目标跟踪模型评价关系
其中“↑”表示数值越高模型评价越好，“+”呈正相关；“↓”表示数值越低模型评价越好，“-”呈负相关。
本专利研究中的跟踪算法性能指标如下表2所示，是不同检测模型下的各项断奶仔猪目标跟踪的评价指标。
表2断奶仔猪目标跟踪的评价指标
总体而言，本专利提出的目标跟踪算法的跟踪精度MOTA和MOTP分别为88.82％和83.19％，对断奶仔猪目标跟踪结果良好。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种基于深度学习的断奶仔猪目标跟踪方法，其特征在于它包括以下步骤：
S1、数据采集，获得断奶仔猪的视频数据；
S2、将视频数据处理，获得连续静态序列的图片数据；
S3、图片数据预处理，进行静态图片数据的特征提取；
S4、图片的目标检测识别；
S5、目标跟踪。
2.根据权利要求1所述的方法，其特征在于S1具体为：利用红外夜视摄像头安装在猪舍排泄区的正上方进行视频采集。
3.根据权利要求1所述的方法，其特征在于S2具体包括以下步骤：
S2-1、从录制的视频文件中每隔固定帧提取一张图片，保存为jpg格式；
S2-2、数据清洗：删除猪体模糊的无效图片，得到有效图片。
4.根据权利要求1所述的方法，其特征在于S3具体包括以下步骤：
S3-1、数据标注：使用标注工具进行人工标注，得到相同文件名的xml的文件，该文件包含标注框的位置和目标类别信息；
S3-2、划分数据集：按约9:1的比例得到训练集、预测集；
S3-4、数据集格式化；
S3-5、使用深度学习模型从训练集数据中学习新的特征。
5.根据权利要求1所述的方法，其特征在于S4具体包括以下步骤：
S4-1、以YOLOv3网络模型为基础构建断奶仔猪目标检测模型，以DarkNet-53作为基础网络，引入残差模块；
S4-2、采用了3个尺度的特征图，采用k-means聚类方法得到9个先验框，划分到3个尺度特征图上；对于不同尺度的特征图使用不同大小的先验框；
S4-3、设计类FPN结构，将低阶与高阶特征融合；
S4-4、将标注好的数据输入到深度卷积神经网络中，修改训练参数，在Darknet框架下经过离线迭代训练得到包含神经网络参数的模型，调用生成的模型检测断奶仔猪目标；
S4-5、使用目标检测模型进行断奶仔猪的目标检测。
6.根据权利要求1所述的方法，其特征在于S5中具体包括：
S5-1、输入数据通过断奶仔猪目标检测模型检测出断奶仔猪目标；
S5-2、将检测的目标分配给跟踪器进行跟踪，并且赋予目标ID；
S5-3、使用卡尔曼滤波器对上一帧中的所有跟踪器进行遍历并预测下一帧跟踪结果；
S5-4、关联阶段，确认跟踪状态，将检测框和预测框结果的IOU情况作为输入，计算马氏距离Mahalanobis distance作为断奶仔猪目标运动信息关联度d(1)(i,j)；
S5-5、计算特征余弦距离cosine distance作为断奶仔猪目标外观信息的关联度d(2)(i,j)；
S5-6、将运动信息关联度和外观信息关联度进行线性加权，所得的结果Ci,j作为最终的关联度量，其中Ci,j＝λd(1)(i,j)+(1-λ)d(2)(i,j)，λ是用于调整这两种不同关联度的权重参数，λ的选择根据具体的数据集确定；
S5-7、匹配阶段，通过匈牙利匹配算法进行IOU匹配，将小于指定的阈值情况视为匹配失败，将未匹配的情况删除；采用级联匹配解决遮挡带来的仔猪目标跟踪错误；
S5-8、更新跟踪结果，循环S5-1～S5-7步骤；
S5-9、生成断奶仔猪目标跟踪结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410605.3A CN111709287A (zh) | 2020-05-15 | 2020-05-15 | 基于深度学习的断奶仔猪目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010410605.3A CN111709287A (zh) | 2020-05-15 | 2020-05-15 | 基于深度学习的断奶仔猪目标跟踪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111709287A true CN111709287A (zh) | 2020-09-25 |
Family
ID=72537394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010410605.3A Pending CN111709287A (zh) | 2020-05-15 | 2020-05-15 | 基于深度学习的断奶仔猪目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111709287A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541432A (zh) * | 2020-12-11 | 2021-03-23 | 上海品览数据科技有限公司 | 一种基于深度学习的视频牲畜身份认证系统及方法 |
| CN113177564A (zh) * | 2021-05-16 | 2021-07-27 | 河南牧原智能科技有限公司 | 一种计算机视觉猪只关键点识别方法 |
| CN113269109A (zh) * | 2021-06-03 | 2021-08-17 | 重庆市畜牧科学院 | 基于视觉ai的猪只状态分析系统和方法 |
| CN113470076A (zh) * | 2021-07-13 | 2021-10-01 | 南京农业大学 | 一种平养鸡舍黄羽鸡多目标跟踪方法 |
| CN113486813A (zh) * | 2021-07-08 | 2021-10-08 | 深圳喜为智慧科技有限公司 | 一种猪只重识别方法 |
| CN113610362A (zh) * | 2021-07-20 | 2021-11-05 | 苏州超集信息科技有限公司 | 一种基于深度学习流水线产品追溯方法及系统 |
| CN113947617A (zh) * | 2021-10-19 | 2022-01-18 | 华南农业大学 | 一种基于长短记忆的哺乳仔猪多目标跟踪方法 |
| CN114550069A (zh) * | 2022-03-01 | 2022-05-27 | 华南农业大学 | 一种基于深度学习的仔猪乳头计数方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
| CN110147771A (zh) * | 2019-05-23 | 2019-08-20 | 南京农业大学 | 基于母猪关键部位与环境联合分区的母猪侧卧姿态实时检测系统 |
| CN110598658A (zh) * | 2019-09-18 | 2019-12-20 | 华南农业大学 | 一种母猪哺乳行为的卷积网络识别方法 |
-
2020
- 2020-05-15 CN CN202010410605.3A patent/CN111709287A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816690A (zh) * | 2018-12-25 | 2019-05-28 | 北京飞搜科技有限公司 | 基于深度特征的多目标追踪方法及系统 |
| CN110147771A (zh) * | 2019-05-23 | 2019-08-20 | 南京农业大学 | 基于母猪关键部位与环境联合分区的母猪侧卧姿态实时检测系统 |
| CN110598658A (zh) * | 2019-09-18 | 2019-12-20 | 华南农业大学 | 一种母猪哺乳行为的卷积网络识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 沈明霞: "基于深层卷积神经网络的初生仔猪目标实时检测方法", 《农业机械学报》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112541432A (zh) * | 2020-12-11 | 2021-03-23 | 上海品览数据科技有限公司 | 一种基于深度学习的视频牲畜身份认证系统及方法 |
| CN113177564A (zh) * | 2021-05-16 | 2021-07-27 | 河南牧原智能科技有限公司 | 一种计算机视觉猪只关键点识别方法 |
| CN113269109A (zh) * | 2021-06-03 | 2021-08-17 | 重庆市畜牧科学院 | 基于视觉ai的猪只状态分析系统和方法 |
| CN113269109B (zh) * | 2021-06-03 | 2023-12-05 | 重庆市畜牧科学院 | 基于视觉ai的猪只状态分析系统和方法 |
| CN113486813A (zh) * | 2021-07-08 | 2021-10-08 | 深圳喜为智慧科技有限公司 | 一种猪只重识别方法 |
| CN113470076A (zh) * | 2021-07-13 | 2021-10-01 | 南京农业大学 | 一种平养鸡舍黄羽鸡多目标跟踪方法 |
| CN113470076B (zh) * | 2021-07-13 | 2024-03-12 | 南京农业大学 | 一种平养鸡舍黄羽鸡多目标跟踪方法 |
| CN113610362A (zh) * | 2021-07-20 | 2021-11-05 | 苏州超集信息科技有限公司 | 一种基于深度学习流水线产品追溯方法及系统 |
| CN113610362B (zh) * | 2021-07-20 | 2023-08-08 | 苏州超集信息科技有限公司 | 一种基于深度学习流水线产品追溯方法及系统 |
| CN113947617A (zh) * | 2021-10-19 | 2022-01-18 | 华南农业大学 | 一种基于长短记忆的哺乳仔猪多目标跟踪方法 |
| CN113947617B (zh) * | 2021-10-19 | 2024-04-16 | 华南农业大学 | 一种基于长短记忆的哺乳仔猪多目标跟踪方法 |
| CN114550069A (zh) * | 2022-03-01 | 2022-05-27 | 华南农业大学 | 一种基于深度学习的仔猪乳头计数方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709287A (zh) | 基于深度学习的断奶仔猪目标跟踪方法 | |
| WO2020042419A1 (zh) | 基于步态的身份识别方法、装置、电子设备 | |
| CN108447078B (zh) | 基于视觉显著性的干扰感知跟踪算法 | |
| CN110135249B (zh) | 基于时间注意力机制和lstm的人体行为识别方法 | |
| JP2022518939A (ja) | 検出モデルのトレーニング方法、装置、コンピュータデバイス及びコンピュータプログラム | |
| CN103268495B (zh) | 计算机系统中基于先验知识聚类的人体行为建模识别方法 | |
| CN114220176A (zh) | 一种基于深度学习的人体行为的识别方法 | |
| Wang et al. | STORM: Structure-based overlap matching for partial point cloud registration | |
| CN110738650B (zh) | 一种传染病感染识别方法、终端设备及存储介质 | |
| CN112395977A (zh) | 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 | |
| CN113763429A (zh) | 基于视频的猪只行为识别系统及方法 | |
| Noe et al. | Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model | |
| Kim et al. | Human activity recognition by using convolutional neural network | |
| CN113706579A (zh) | 一种基于工厂化养殖的对虾多目标跟踪系统及方法 | |
| Palconit et al. | Three-dimensional stereo vision tracking of multiple free-swimming fish for low frame rate video | |
| Mukilan et al. | Human object detection: An enhanced black widow optimization algorithm with deep convolution neural network | |
| CN116152928A (zh) | 基于轻量级人体姿态估计模型的防溺水预警方法和系统 | |
| CN115063585A (zh) | 一种无监督语义分割模型的训练方法及相关装置 | |
| Tsai et al. | Predicting canine posture with smart camera networks powered by the artificial intelligence of things | |
| CN114170686A (zh) | 一种基于人体关键点的屈肘行为检测方法 | |
| Li et al. | Study of face orientation recognition based on neural network | |
| CN113378638A (zh) | 基于人体关节点检测和d-gru网络的轮机员异常行为识别方法 | |
| CN115546491A (zh) | 一种跌倒报警方法、系统、电子设备及存储介质 | |
| CN113255514B (zh) | 基于局部场景感知图卷积网络的行为识别方法 | |
| Li et al. | Human sports action and ideological and PoliticalEvaluation by lightweight deep learning model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |