CN116246223A - 一种奶牛多目标跟踪算法及健康评估方法 - Google Patents
一种奶牛多目标跟踪算法及健康评估方法 Download PDFInfo
- Publication number
- CN116246223A CN116246223A CN202310288210.4A CN202310288210A CN116246223A CN 116246223 A CN116246223 A CN 116246223A CN 202310288210 A CN202310288210 A CN 202310288210A CN 116246223 A CN116246223 A CN 116246223A
- Authority
- CN
- China
- Prior art keywords
- cow
- dairy
- cows
- target
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000283690 Bos taurus Species 0.000 title claims abstract description 234
- 235000013365 dairy product Nutrition 0.000 title claims abstract description 123
- 230000036541 health Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims description 9
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000009395 breeding Methods 0.000 claims abstract description 13
- 230000001488 breeding effect Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 239000008267 milk Substances 0.000 claims description 27
- 235000013336 milk Nutrition 0.000 claims description 27
- 210000004080 milk Anatomy 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000007405 data analysis Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 230000037213 diet Effects 0.000 claims description 4
- 235000005911 diet Nutrition 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 241000282849 Ruminantia Species 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 2
- 230000013872 defecation Effects 0.000 claims 1
- 239000003651 drinking water Substances 0.000 claims 1
- 235000020188 drinking water Nutrition 0.000 claims 1
- 238000007499 fusion processing Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 230000027939 micturition Effects 0.000 claims 1
- 230000009184 walking Effects 0.000 claims 1
- 244000144972 livestock Species 0.000 abstract description 4
- 238000011161 development Methods 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000000003 hoof Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003938 response to stress Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Marine Sciences & Fisheries (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Computing Systems (AREA)
- Mining & Mineral Resources (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种奶牛多目标跟踪算法及健康评估方法，属于畜牧管理技术领域，首先，需要对奶牛目标进行识别，在YOLOv7算法基础上加入CBAM注意力模块，将通道与空间维度上的注意力特征融合，进而提高特征提取网络的特征提取能力。同时，以奶牛目标识别为基础进行奶牛多目标跟踪，其中加入轨迹匹配，提升较长时间跟踪轨迹匹配的权利，当奶牛目标被遮挡丢失跟踪轨迹，会对该视频帧进行预测，并将该视频帧预测的结果与当前的奶牛目标轨迹进行匹配，降低奶牛目标跟踪丢失概率。最后，构建了奶牛健康评估模块，利用奶牛跟踪轨迹框中心点与奶牛所在区域分析奶牛是否有异常的行为，并能及时反馈给养殖人员报警信号，养殖人员会对有异常行为的奶牛进行治疗，进而实现奶牛多目标跟踪意义。
Description
技术领域
本发明涉及智能畜牧养殖技术领域，具体涉及一种奶牛多目标跟踪算法及健 康评估方法。
背景技术
近年来，经过不断的改革、整顿与发展，我国畜牧养殖业稳步推进升级转型， 并取得了显著成效，由传统粗犷型发展模式逐渐被集约化、自动化发展模式所取 代，促进养殖行业的健康发展。但在畜牧养殖业发展过程中仍然存在一些问题， 例如一些奶牛常见的疾病，流行热病、肺炎疾病、流行性疾病等病状，这些疾病 既影响奶牛产奶的品质，又降低养殖户的经济效益。采用奶牛多目标跟踪算法及 健康评估方法，能对患病的奶牛进行及时治疗，进而减少养殖户的经济损失。
在小型养殖场中，传统方法以人工肉眼观测为主，主观性强，人力成本高， 自动化程度低，无法实现长期、精确监测，不适用于规模化养殖场。为解决人工 观测的不足，会给奶牛佩戴一些数字化设备，通过一些数字化设备的信息来反应 奶牛的生理健康情况，能精准跟踪到每头奶牛个体，但是会给奶牛造成应激反应。 采用奶牛多目标跟踪算法及健康评估发法，以非接触式的方式跟踪奶牛，解决了 以上两种方法的难题，符合奶牛福利发展要求。
因此，对奶牛进行多目标跟踪及健康评估对奶牛健康管理、精准饲喂、疾病 防治、提高产犊存活率以及提升现代智能化奶牛养殖水平具有重要意义。
发明内容
本发明提供了一种奶牛多目标跟踪算法及健康评估方法，能够有效解决奶牛 目标跟踪丢失、奶牛精准健康管理的问题，实现真正意义上的奶牛多目标跟踪及 对奶牛健康评估。
第一方面，本发明提供了奶牛目标识别模型训练，其特征在于，具体步骤如下。
步骤一，用奶牛识别数据集进行奶牛个体识别模型训练，将数据集输入到 YOLOv7网络模型中，输入图片的大小为 640×640×3。
步骤二，进入 backbone 模块，数据会经过 BConv 层、E-ELAN 层以及 MPConv层，BConv 层将输入的图片进行卷积操作，E-ELAN 层与 MPConv 层都是由不同 的卷积拼接而成，但是 E-ELAN 层输入与输出的长度不变，而 MPConv 层输入 输出通道相同，输出长宽为输入长宽的一半，最终提取三个不同大小的特征图。
步骤三，将三个不同大小的特征图输入 CBAM 注意力模块，CBAM 注意力 模块包含 2 个独立的子模块，通道注意力模块（Channel Attention Module，CAM) 和空间注意力模块（Spartial Attention Module，SAM)，分别将三个不同大小的特 征图进行通道与空间维度上的注意力特征融合。
步骤四，将融合完的特征图输入到 head 模块，该模块由 SPPCSPC 层、若干BConv 层、若干 MPConv 层、若干 Cowconv 层组成，能对融合完的特征图进行 特征增强，提高网络的鲁棒性；再把增强后的特征图输入到三个 head 的 RepVGG block 层，将得到的三个尺寸的预测结果进行合并，通过非极大值抑制（NMS） 算法清除错误的边界框后，就可以输出最终的结果。
步骤五，反复重复步骤一至步骤四，直到完成 YOLOv7 模型的训练。
第二方面，本发明提供了奶牛多目标跟踪算法，其特征在于，包括卡尔曼滤 波、级联匹配、轨迹匹配、匈牙利算法匹配，其中，卡尔曼滤波利用奶牛当前的 一系列运动变量去预测下一时刻奶牛的运动变量，但是第一次的检测结果用来初 始化奶牛卡尔曼滤波的运动变量；级联匹配能解决不同优先级的匹配，赋予上一 帧最先匹配的跟踪器高的优先权，降低奶牛目标短时间被遮挡匹配跟踪器优先权； 轨迹匹配会提升较长时间跟踪轨迹匹配的权利，当奶牛目标轨迹丢失之后，会对 该视频帧进行预测，并将该视频帧预测的结果与当前的奶牛目标轨迹进行匹配， 降低奶牛目标跟踪丢失概率。通过这部分处理，可以重新将被遮挡目标找回，降 低奶牛目标被遮挡出现的 ID 次数的变化；匈牙利算法利用奶牛检测框和卡尔曼 预测的奶牛框做分配，让卡尔曼预测的奶牛跟踪轨迹框匹配相应的奶牛检测框， 达到跟踪的效果。
级联匹配由马氏距离、深度表征特征提取、关联度量三部分组成，其中马氏 距离、深度表征特征提取通过计算相似度矩阵的方法使用运动模型和外观模型来 计算相似度，得到代价矩阵，将得到的代价矩阵用于匈牙利算法匹配；关联度量 主要是对没有丢失过的轨迹赋予优先匹配的权利，而丢失最久的轨迹最后匹配。
第三方面，本发明提供了奶牛健康评估方法，其特征在于，包括饮食区健康 评估、活动区健康评估、休息区健康评估，其中，饮食区健康评估，主要评估奶 牛是否想进食、奶牛饮水是否正常；活动区健康评估，用于评估奶牛是否有肢蹄 行为；休息区健康评估，用于评估奶牛能否正常休息、奶牛反刍是否正常。当奶 牛出现异常行为时，报警系统会发出报警信号，输送到客户端，养殖人员根据客 户端收到的报警信号，对异常行为的奶牛进行及时治疗。
本发明在 YOLOv7 模型的 backbone 模块与 head 模型之间加入 CBAM 注意 力模块，包括通道注意力模块和空间注意力模块，分别进行通道与空间维度上的 注意力特征融合，进而提高特征提取网络的特征提取能力；奶牛奶牛多目标跟踪 算法中加入轨迹匹配机制，降低了奶牛目标跟踪丢失概率；最后本发明提供了奶 牛健康评估方法，利用跟踪到奶牛的轨迹与奶牛所在区域进行健康评估，能及时 发现有异常行为的奶牛，并将信号反馈给养殖人员并对奶牛进行及时治疗，提高 工作效率的同时，也会带动经济效益的发展。
附图说明
图 1 为本发明提供的奶牛多目标跟踪及健康评估方法整体框架示意图。
图 2 为本发明提供的奶牛目标识别 YOLOv7 网络框架。
图 3 为本发明提供的奶牛多目标跟踪技术流程图。
图 4 为本发明提供的奶牛健康评估方法流程图。
图 5 为本发明提供的应用场景示意图。
图中标记：01—进食区，02—活动区，03—休息区，04—进食栏， 05—卧床栏，06—饲料槽，07—摄像头。
实施方式
以下结合附图和实施例对本发明作进一步的详细说明。
图 1 为本发明提供的奶牛多目标跟踪及健康评估方法整体框架示意图，包括数据获取平台、数据处理平台、数据分析平台、客户端，其中数据获取平台需要 用摄像头获取奶牛实时视频或者奶牛历史视频，将这些数据制作成相应的奶牛目 标识别数据集和奶牛多目标跟踪数据集并输入到数据处理平台；数据处理平台会 对奶牛目标识别模型训练与奶牛多目标跟踪模型训练，训练之后可以对奶牛进行 精准跟踪，并将奶牛跟踪结果输入到数据分析平台；数据分析平台能对跟踪到的 奶牛轨迹与奶牛所在区域进行综合性的分析，判断奶牛是否有异常行为，当奶牛 有异常行为时，自动报警模块会发出报警信号输送到客户端；客户端可以收到报 警信号并反馈给养殖人员，能查看有异常行为的奶牛编号，并对有异常行为的奶 牛进行及时治疗。
图 2 为本发明提供的奶牛目标识别 YOLOv7 网络框架，具体步骤如下。
步骤一，用奶牛识别数据集进行奶牛个体识别模型训练，将数据集输入到 YOLOv7网络模型中，输入图片的大小为 640×640×3。
步骤二，进入 backbone 模块，数据会经过 BConv 层、E-ELAN 层以及 MPConv层，BConv 层将输入的图片进行卷积操作，E-ELAN 层与 MPConv 层都是由不同 的卷积拼接而成，但是 E-ELAN 层输入与输出的长度不变，而 MPConv 层输入 输出通道相同，输出长宽为输入长宽的一半，最终提取三个不同大小的特征图。
步骤三，将三个不同大小的特征图输入 CBAM 注意力模块，CBAM 注意力 模块包含两个独立的子模块，通道注意力模块和空间注意力模块，分别将三个不 同大小的特征图进行通道与空间维度上的注意力特征融合。
步骤四，将融合完的特征图输入到 head 模块，该模块由 SPPCSPC 层、若干BConv 层、若干 MPConv 层、若干 Cowconv 层组成，能对融合完的特征图进行 特征增强，提高网络的鲁棒性；再把增强后的特征图输入到三个 head 的 RepVGG block 层，将得到的三个尺寸的预测结果进行合并，通过非极大值抑制（NMS） 算法清除错误的边界框后，就可以输出最终的结果。
本发明实施例公开的奶牛目标识别 YOLOv7 网络框架，在 backbone 模块与head 模块之间加入 CBAM 注意力模块，让奶牛特征图进行通道与空间维度上的 特征融合，从而提高特征提取网络的奶牛特征提取能力。
图 3 为本发明提供的奶牛多目标跟踪技术流程图，具体步骤如下。
步骤一，以奶牛目标识别模型的训练权重为基础进行奶牛多目标跟踪训练， 并将奶牛跟踪数据集输入到跟踪模型中，以第一帧奶牛目标检测框进行初始化操 作，并与对应奶牛轨迹进行卡尔曼滤波预测下一时刻轨迹，其中初始化轨迹状态 为不确定态，直到奶牛轨迹匹配成功奶牛目标检测框三次，奶牛轨迹状态变为确 认态并下一步操作。
步骤二，奶牛确认态轨迹与当前时刻奶牛检测目标框进行级联匹配、轨迹匹 配，级联匹配会让长时间跟踪奶牛的轨迹先进行匹配目标，降低奶牛目标短时间 被遮挡匹配跟踪器优先权；轨迹匹配会提高长时间跟踪奶牛目标但当前不能匹配 到奶牛目标检测框的优先权，当奶牛目标出现遮挡时，会对当前的视频帧进行奶 牛目标识别，并将识别的奶牛目标结果与当前的奶牛目标轨迹进行匹配，降低奶 牛目标跟踪丢失概率。级联匹配、轨迹匹配结果会出现三种情况，第一种，奶牛 目标检测框与卡尔曼预测的奶牛跟踪轨迹框完全匹配，将进行卡尔曼滤波预测和 更新；第二种，视频帧奶牛目标检测框与现有卡尔曼预测框无法匹配，将进行后 续 IOU 匹配；第三种，奶牛目标检测框与跟踪轨迹匹配但出现新的奶牛目标 IDi， 其中 i＞n，n 为视频帧里奶牛目标数，同样也会进行后续 IOU 匹配。
步骤三，将级联匹配、轨迹匹配结果中匹配失败轨迹和匹配失败目标框进行 IOU匹配，再通过 IOU 匹配的结果计算代价矩阵，将得到的代价矩阵作为匈牙 利算法的输入，匈牙利算法会对奶牛目标检测框与卡尔曼预测的奶牛轨迹框进行 匹配，匹配结果会出现三种情况，第一种，匹配结果中奶牛目标严重遮挡或奶牛 走出视频所在区域，无法识别奶牛目标检测框，或奶牛目标预测框与卡尔曼预测 框能匹配成功，但是出现新的奶牛目标IDi，i＞n，n 为视频帧奶牛目标总数，且 匹配的结果超过 30 帧，则这两种情况下的轨迹均删除；第二种，奶牛目标预测 框与卡尔曼预测框匹配成功，但是出现新的奶牛 IDi，且匹配未超过 30 帧视频， 或者视频帧中奶牛目标检测框无法匹配现有卡尔曼预测跟踪轨迹框，则需要将当 前视频中对应的轨迹进行卡尔曼滤波预测；第三种，奶牛目标检测框和卡尔曼预 测跟踪轨迹框匹配成功，说明奶牛视频前一帧和后一帧跟踪成功，需进行卡尔曼滤波预测与更新。
步骤四，反复重复步骤一至步骤三，直到视频帧结束。
本发明实施例公开的奶牛多目标跟踪技术流程图，能实现奶牛多目标跟踪， 在DeepSort 算法原有的基础上加入轨迹匹配，该轨迹匹配提升较长时间跟踪轨 迹匹配的权利，当奶牛目标被遮挡丢失跟踪轨迹，会对该视频帧进行预测，并将 该视频帧预测的结果与当前的奶牛目标轨迹进行匹配，降低奶牛目标跟踪丢失概率。
图 4 为本发明提供的奶牛健康评估方法流程图，包括奶牛区域判别模块、奶 牛行为分析模块、自动报警模块、客户端四部分内容，其中奶牛区域判别模块会 以饲料槽为x 轴，进食栏到卧床栏为 y 轴将牛舍分为三个区域，0 ≤ y＜y1为奶牛 进食区，y1 ≤ y≤ y2为奶牛活动区，y2＜y ≤ ymax为奶牛休息区，其中 ymax为奶牛 视频帧最大的 y 轴坐标，根据奶牛跟踪框的中心点坐标为判别依据，判别奶牛所 在区域；奶牛行为分析模块会对奶牛目前所在区域进行分析，当养殖人员早中晚 固定时间段喂奶牛时，若一分钟以后未识别奶牛在进食区，说明奶牛患有流行热 病导致奶牛食欲下降。当跟踪到的奶牛在进食区并饮水时，奶牛跟踪框中心点坐 标突然向 y 轴反方向移动且至少停留 5 秒钟，说明奶牛食道堵塞，致使奶牛颈部 伸直。当奶牛处于活动区时，若奶牛跟踪轨迹出现“W”型时，即奶牛跟踪轨迹 框中心点总是一升一降，说明奶牛有肢蹄问题。当奶牛进食后一小时后未识别奶 牛在休息区反刍，说明奶牛已患病。中午或晚上奶牛固定休息睡觉时，若未识别 奶牛在休息区休息，说明奶牛卧床感觉不适，需调整奶牛卧床区域；自动报警模 块会给出异常行为奶牛的编号、奶牛目前所在区域、奶牛异常的行为并输送到客 户端；客户端主要是根据自动报警模块发出的信息反馈给养殖人员。
图 5 为本发明提供的应用场景示意图，将牛舍分为 01 进食区、02 活动区、 03休息区三部分，其中 04 进食栏与 05 卧床栏为奶牛提供单独的进食与卧床空 间，06 饲料槽主要盛放奶牛饲料或者水，07 摄像头监测跟踪奶牛的设备，并将 跟踪奶牛的数据传送给移动设备端或者 PC 端。
本发明提供的奶牛多目标跟踪算法及健康评估方法，以奶牛识别为基础进而 实现奶牛多目标跟踪，能有效解决奶牛目标遮挡问题，并将跟踪结果进行奶牛健 康评估，能及时发现有异常行为的奶牛，并对异常行为的奶牛进行及时的治疗， 实现真正意义上的奶牛多目标跟踪。
Claims (8)
1.一种奶牛多目标跟踪算法及健康评估方法，其特征在于，包括数据获取平台、数据处理平台、数据分析平台、客户端，其中，数据获取平台，用于获取奶牛视频数据，可以获取实时的奶牛视频数据，也可以获取历史的奶牛视频数据，将这些奶牛数据制作成奶牛识别数据集与奶牛跟踪数据集，并输送到数据处理平台；数据处理平台，用于进行奶牛目标识别训练与奶牛多目标跟踪训练，可将训练好的模型进行预测，并把预测的结果输入到数据分析平台；数据分析平台，用于处理分析奶牛是否有异常的行为，对有异常行为的奶牛系统会进行报警处理，并报警信号输送到客户端；客户端，用于监测跟踪奶牛的平台，能接收到因奶牛有异常行为而发出的报警信号，养殖人员可以对有异常行为的奶牛进行及时的治疗。
2.根据权利要求1所述的数据集，其特征在于，包括奶牛识别数据集、奶牛跟踪数据集，其中奶牛识别数据集，需要用labelimg标注图片中奶牛的位置，并能获取奶牛目标中xmin、ymin、xmax、ymax四点位置，其中0 ≤ xmin ≤ xmax ≤ width，0 ≤ ymin ≤ ymax ≤height，width与height分别为奶牛图片的宽度和高度；其中奶牛识别数据集，需要用Darklabel标注视频帧奶牛的位置并赋予每头奶牛IDi，视频中奶牛的个数为n，0＜i ≤ n。
3.根据权利要求1所述的奶牛目标识别训练，其特征在于，包括图像的输入、backbone模块、CBAM注意力模块和head模块四部分内容，其中，图像的输入，输入640×640×3大小的奶牛图像；backbone模块，用于提取奶牛图像的特征；CBAM注意力模块，将提取到的奶牛特征图进行通道与空间维度上的特征融合，提高特征提取网络的奶牛特征提取能力；head模块，经提取到的奶牛特征经过该模块特征融合处理得到大、中、小三种尺寸的特征，并将融合后的特征被送入检测头，经过检测之后输出得到结果。
4.根据权利要求1所述的奶牛多目标跟踪训练，其特征在于，包括卡尔曼滤波、级联匹配、轨迹匹配、匈牙利算法匹配，其中，卡尔曼滤波利用奶牛当前的一系列运动变量去预测下一时刻奶牛的运动变量，但是第一次的检测结果用来初始化奶牛卡尔曼滤波的运动变量；级联匹配能解决不同优先级的匹配，赋予上一帧最先匹配的跟踪器高的优先权，降低奶牛目标短时间被遮挡匹配跟踪器优先权；轨迹匹配会提升较长时间跟踪轨迹匹配的权利，当奶牛目标轨迹丢失之后，会对该视频帧进行预测，并将该视频帧预测的结果与当前的奶牛目标轨迹进行匹配，降低奶牛目标跟踪丢失概率。通过这部分处理，可以重新将被遮挡目标找回，降低奶牛目标被遮挡出现的ID次数的变化；匈牙利算法利用奶牛检测框和卡尔曼预测的奶牛框做分配，让卡尔曼预测的奶牛跟踪轨迹框匹配相应的奶牛检测框，达到追踪的效果。
5.根据权利要求4所述的级联匹配，其特征在于，包括马氏距离、深度表征特征提取、关联度量，其中马氏距离、深度表征特征提取为级联匹配的一部分，通过计算相似度矩阵的方法使用运动模型（马氏距离）和外观模型（余弦距离）来计算相似度，得到代价矩阵，将得到的代价矩阵用于匈牙利算法匹配；关联度量为级联匹配的另一部分内容，主要功能是对没有丢失过的轨迹赋予优先匹配的权利，而丢失的最久的轨迹最后匹配。
6.根据权利要求1所述的数据分析平台，其特征在于，包括奶牛健康评估模块、自动报警模块，其中，奶牛健康评估模块需要根据奶牛跟踪轨迹的中心点与当前奶牛的所在区域进行分析奶牛是否有异常行为；自动报警模块就是当奶牛有异常行为时，会发出报警信号，反馈给养殖人员，及时对有异常行为的奶牛进行治疗。
7.根据权利要求6所述的奶牛所在区域，其特征在于，包括饮食区、活动区、休息区，其中，饮食区，奶牛用来进食和饮水；活动区，奶牛用来排尿、排便、行走；休息区，奶牛用来休息、反刍。
8.根据权利要求1所述的客户端，其特征在于，养殖人员能在移动设备端或者PC端进行查看奶牛，可以实时的跟踪奶牛，也可对奶牛历史的视频进行跟踪，当出现异常行为的奶牛时，报警系统会发出信号，输送到客户端，养殖人员对异常行为的奶牛进行治疗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310288210.4A CN116246223A (zh) | 2023-03-23 | 2023-03-23 | 一种奶牛多目标跟踪算法及健康评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310288210.4A CN116246223A (zh) | 2023-03-23 | 2023-03-23 | 一种奶牛多目标跟踪算法及健康评估方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116246223A true CN116246223A (zh) | 2023-06-09 |
Family
ID=86626135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310288210.4A Pending CN116246223A (zh) | 2023-03-23 | 2023-03-23 | 一种奶牛多目标跟踪算法及健康评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116246223A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315531A (zh) * | 2023-09-20 | 2023-12-29 | 山东蒙恩现代农业发展有限公司 | 一种应用于陆生野生动物的视频目标识别跟踪与异常行为检测方法 |
-
2023
- 2023-03-23 CN CN202310288210.4A patent/CN116246223A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315531A (zh) * | 2023-09-20 | 2023-12-29 | 山东蒙恩现代农业发展有限公司 | 一种应用于陆生野生动物的视频目标识别跟踪与异常行为检测方法 |
| CN117315531B (zh) * | 2023-09-20 | 2024-08-23 | 山东蒙恩现代农业发展有限公司 | 一种应用于陆生野生动物的视频目标识别跟踪与异常行为检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bao et al. | Artificial intelligence in animal farming: A systematic literature review | |
| Kashiha et al. | Automatic weight estimation of individual pigs using image analysis | |
| Rutten et al. | Invited review: Sensors to support health management on dairy farms | |
| CN114638536B (zh) | 基于人工智能的畜牧健康监测方法与系统 | |
| Garcia et al. | Lameness detection challenges in automated milking systems addressed with partial least squares discriminant analysis | |
| Ayadi et al. | Dairy cow rumination detection: A deep learning approach | |
| Adriaens et al. | Milk losses and dynamics during perturbations in dairy cows differ with parity and lactation stage | |
| CN116246223A (zh) | 一种奶牛多目标跟踪算法及健康评估方法 | |
| CN112101259A (zh) | 一种基于堆叠沙漏网络的单只猪体姿态识别系统及方法 | |
| EP3933766B1 (en) | A system and a method for livestock monitoring | |
| Shakeel et al. | A deep learning-based cow behavior recognition scheme for improving cattle behavior modeling in smart farming | |
| KR20220142514A (ko) | 살아있는 표본의 추적성을 위한 방법, 시스템 및 컴퓨터 프로그램 | |
| Zhang et al. | A review in the automatic detection of pigs behavior with sensors | |
| KR102047428B1 (ko) | 되새김 활동 측정을 이용한 소의 건강 관리 시스템 | |
| Yaseer et al. | A review of sensors and Machine Learning in animal farming | |
| CN115968810B (zh) | 一种病疫生猪的识别方法和识别系统 | |
| Debdas et al. | IoT based fog and cloud analytics in smart dairy farming | |
| CN116680595A (zh) | 异常奶牛检测方法、装置、电子设备及介质 | |
| CN116935439A (zh) | 一种孕羊分娩自动监测预警方法及自动监测预警系统 | |
| CN116543462A (zh) | 基于视频骨骼的奶牛行为识别判断奶牛健康状况的方法 | |
| Sumi et al. | Framework of cow calving monitoring system using video images | |
| US11096375B2 (en) | Smart cattle reproduction management and digital farm to market transparency metrics | |
| Shukla et al. | Fostering Smart Agriculture: Using Vision-Based AI for Livestock Managing | |
| Cassimiro et al. | Milk weighing scale based on machine learning | |
| Ranzato | Precision Livestock Farming (PLF) applications to the dairy sector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |