CN113288125A - 一种基于奶牛身体关键点运动轨迹的跛行检测方法 - Google Patents

一种基于奶牛身体关键点运动轨迹的跛行检测方法 Download PDF

Info

Publication number
CN113288125A
CN113288125A CN202110745767.7A CN202110745767A CN113288125A CN 113288125 A CN113288125 A CN 113288125A CN 202110745767 A CN202110745767 A CN 202110745767A CN 113288125 A CN113288125 A CN 113288125A
Authority
CN
China
Prior art keywords
cow
hoof
lameness
representing
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110745767.7A
Other languages
English (en)
Other versions
CN113288125B (zh
Inventor
赵凯旋
张梦
刘启航
刘晓航
张瑞红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Science and Technology
Original Assignee
Henan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Science and Technology filed Critical Henan University of Science and Technology
Priority to CN202110745767.7A priority Critical patent/CN113288125B/zh
Publication of CN113288125A publication Critical patent/CN113288125A/zh
Application granted granted Critical
Publication of CN113288125B publication Critical patent/CN113288125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/40—Animals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明属于畜禽高效安全养殖信息化技术领域，具体涉及一种基于奶牛身体关键点运动轨迹的跛行检测方法。该方法首先获取奶牛的行走视频，并从行走视频中提取奶牛的牛蹄运动轨迹和头部运动轨迹；然后从中提取出奶牛的跛行参数；所述奶牛的跛行参数包括步幅不一致性、步进时间不一致性、跟踪性能、牛蹄着地敏感性、牛蹄支撑相占比不一致性、以及头部摆动幅度；最后根据奶牛的跛行参数，确定奶牛的跛行程度。本发明从奶牛头部运动情况和牛蹄运动情况来综合确定奶牛的跛行参数，全面覆盖奶牛的跛行参数，进而根据跛行参数来确定奶牛的跛行程度，提高了奶牛跛行检测的准确率，对提高奶牛福利、降低跛行带来的经济损失有着重要的意义。

Description

一种基于奶牛身体关键点运动轨迹的跛行检测方法
技术领域
本发明属于畜禽高效安全养殖信息化技术领域，具体涉及一种基于奶牛身体关键点运动轨迹的跛行检测方法。
背景技术
跛行不仅是奶牛最重要的福利问题之一，而且会造成奶牛的产奶量减少，繁殖性能下降，带来巨大的经济损失。预防和及时治疗是应对奶牛跛行现象的两大策略，尽早地鉴别出跛行的奶牛将会减小经济损失并且有助于跛脚的恢复，因此鉴别出处于跛行早期的奶牛具有十分重要的研究意义。
传统的人工过检测奶牛跛行的方法为人工检测方法，该种方法费时费力，已经不能满足目前奶牛养殖业的需求。为了解决该问题，现有技术中开始将机器视觉方法应用于跛行奶牛检测上来，该种方法在对奶牛跛行检测的过程中不干扰奶牛的正常活动，具有非接触、免应激、低成本等特点，已经得到广泛研究。
现有的基于机器视觉的奶牛跛行检测方法包括计算奶牛行走时的弓背曲率、头颈部拟合直线来作为奶牛的跛行参数；还包括对奶牛腿部摆动曲线进行分析，提取跛行指标以实现对奶牛跛行的自动检测；等等。但现有方法对奶牛跛行特征提取的覆盖率不高，并且无法实现在复杂环境下对奶牛身体关键部位进行跟踪来获取更为准确的跛行参数。
发明内容
本发明提供了一种基于奶牛身体关键点运动轨迹的跛行检测方法，用以解决现有技术中对奶牛跛行特征提取的覆盖率不高造成的奶牛跛行确定不准确的问题。
为解决上述技术问题，本发明的技术方案包括：
本发明提供了一种基于奶牛身体关键点运动轨迹的跛行检测方法，包括如下步骤：
1)获取奶牛的行走视频，并从行走视频中提取奶牛的牛蹄运动轨迹和头部运动轨迹；
2)根据奶牛的牛蹄运动轨迹和头部运动轨迹，提取出奶牛的跛行参数；所述奶牛的跛行参数包括步幅不一致性、步进时间不一致性、跟踪性能、牛蹄着地敏感性、牛蹄支撑相占比不一致性、以及头部摆动幅度；
3)根据奶牛的跛行参数，确定奶牛的跛行程度，所述跛行程度包括正常和非正常。
上述技术方案的有益效果为：本发明从奶牛的行走视频中提取出奶牛的牛蹄运动轨迹和头部运动轨迹，以从奶牛头部运动情况和牛蹄运动情况来综合确定奶牛的跛行参数，包括步幅不一致性、步进时间不一致性、跟踪性能、牛蹄着地敏感性、牛蹄支撑相占比不一致性、以及头部摆动幅度，全面覆盖奶牛的跛行参数，进而根据跛行参数来确定奶牛的跛行程度，提高了奶牛跛行检测的准确率，对提高奶牛福利、降低跛行带来的经济损失有着重要的意义。
进一步的，为了准确计算各个跛行参数以准确判断奶牛的跛行程度，所述步幅不一致性为：
ZB1＝max(|BFZQ-BFYQ|,|BFZH-BFYH|)
BFZQ＝LWZQ-QWZQ
BFYQ＝LW’YQ-QWYQ
BFZH＝LW’ZH-QWZH
BFYH＝LWYH-QWYH
其中，ZB1表示步幅不一致性；BFZQ表示左前蹄步幅，LWZQ和QWZQ分别表示当前运动周期左前蹄第一个落点位置和起点位置；BFYQ表示右前蹄步幅，QWYQ表示当前运动周期右前蹄第一个起点位置，LW’YQ为右前蹄第二个落点位置；BFZH表示左后蹄步幅，QWZH表示当前运动周期左后蹄第一个起点位置，LW’ZH为左后蹄第二个落点位置；BFYH表示右后蹄步幅，LWYH和QWYH分别表示当前运动周期右后蹄第一个落点位置和起点位置；且以奶牛的四个牛蹄全部抬起并落下一次为一个运动周期；
所述步进时间不一致性为：
ZB2＝max(|BJSJZQ-BJSJYQ|,|BJSJZH-BJSJYH|)
BJSJZQ＝LSZQ-QSZQ
BJSJYQ＝LS’YQ-QSYQ
BJSJZH＝LS’ZH-QSZH
BJSJYH＝LSYH-QSYH
其中，ZB2表示步进时间不一致性；BJSJZQ表示左前蹄步进时间，LSZQ和QSZQ分别表示当前运动周期左前蹄第一个落点时间和起点时间；BJSJYQ表示右前蹄步进时间，QSYQ表示当前运动周期右前蹄第一个起点时间，LS’YQ为右前蹄第二个落点时间；BJSJZH表示左后蹄步进时间，QSZH表示当前运动周期左后蹄第一个起点时间，LS’ZH为左后蹄第二个落点时间；BJSJYH表示右后蹄步进时间，LSYH和QSYH分别表示当前运动周期右后蹄第一个落点时间和起点时间；
所述跟踪性能为：
ZB3＝max(ΔWZ,ΔWY)
ΔWZ＝QWZQ-LWZH
ΔWY＝QWYQ-LWYH
其中，ZB3表示跟踪性能；ΔWZ表示左侧牛蹄位置差,LWZH为当前运动周期左后蹄第一个落点位置；ΔWY表示右侧牛蹄位置差；
所述牛蹄着地敏感性为：
ZB4＝min(MGZQ,MGYQ,MGZH,MGYH)
MGZQ＝vZQ-0.5＝((LWZQ-LWZQ-0.5)/0.5)*fps
MGZH＝vZH-0.5＝((LWZH-LWZH-0.5)/0.5)*fps
MGYQ＝vYQ-0.5＝((LWYQ-LWYQ-0.5)/0.5)*fps
MGYH＝vYH-0.5＝((LWYH-LWYH-0.5)/0.5)*fps
其中，ZB4表示牛蹄着地敏感性；MGZQ表示左前蹄着地敏感性，vZQ-0.5表示左前蹄着地前0.5秒内的速度，LWZQ-0.5表示0.5秒前左前蹄位置，fps为视频帧率；MGZH表示左后蹄着地敏感性，vZH-0.5表示左后蹄着地前0.5秒内的速度，LWZH-0.5表示0.5秒前左后蹄位置；MGYQ表示右前蹄着地敏感性，vYQ-0.5表示右前蹄着地前0.5秒内的速度，LWYQ为当前运动周期右前蹄第一个落点位置，LWYQ-0.5表示0.5秒前右前蹄位置；MGYH表示右后蹄着地敏感性，vYH-0.5表示右后蹄着地前0.5秒内的速度，LWYH-0.5表示0.5秒前右后蹄位置；
所述牛蹄支撑相占比不一致性为：
ZB5＝max(|ZCXZBZQ-ZCXZBYQ|,|ZCXZBZH-ZCXZBYH|)
ZCXZBZQ＝(QS’ZQ-LSZQ)/(QS’ZQ-QSZQ)
ZCXZBZH＝(QSZH-LSZH)/(LS’ZH-LSZH)
ZCXZBYQ＝(QSYQ-LSYQ)/(LS’YQ-LSYQ)
ZCXZBYH＝(QS’YH-LSYH)/(QS’YH-QSYH)
其中，ZB5表示牛蹄支撑相占比不一致性，ZCXZBZQ表示左前蹄支撑相占比，QS’ZQ为当前运动周期左前蹄第二个起点时间；ZCXZBZH表示左后蹄支撑相占比，QS’ZH为当前运动周期左后蹄第二个起点时间；ZCXZBYQ表示右前蹄支撑相占比，QS’YQ为当前运动周期右前蹄第二个起点时间；ZCXZBYH表示右后蹄支撑相占比，QS’YH为当前运动周期右后蹄第二个起点时间；
所述头部摆动幅度为各个摆动周期峰值中的最大值，且摆动周期峰值为摆动周期内奶牛头部运动的最高点和最低点的差值，且以奶牛头部从最低点运动到最高点为一个摆动周期。
进一步的，为了准确提取奶牛的牛蹄运动轨迹和头部运动轨迹，步骤1)中，从行走视频中提取奶牛的牛蹄运动轨迹和头部运动轨迹的手段为：
将奶牛的行走视频输入至运动轨迹分析模型，以得到行走视频的每一帧图像中奶牛的牛蹄位置和头部位置；
根据每一帧图像中奶牛的牛蹄位置和头部位置，得到奶牛的牛蹄运动轨迹和头部运动轨迹。
进一步的，为了实现复杂环境下对奶牛身体关键部位的准确跟踪，所述运动轨迹分析模型为深度学习模型，且所述运动轨迹分析模型利用标记好奶牛牛蹄位置和头部位置的奶牛图像进行训练得到。
进一步的，为了准确识别奶牛的跛行情况，步骤3)中，根据奶牛的跛行参数确定奶牛的跛行情况的手段为：
将奶牛的跛行参数输入至跛行程度分类模型中，得到奶牛的跛行程度；所述跛行程度分类模型为分类器，所述跛行程度分类模型利用奶牛跛行参数以及与跛行参数对应的跛行程度进行训练得到。
进一步的，所述分类器为决策树判断模型。
进一步的，为了便于尽快找到跛行奶牛的跛行肢蹄以对其进行治疗，若步骤3)中确定奶牛的跛行程度为非正常，则在步骤3)后，还包括对奶牛的每只牛蹄进行分析以确定跛行的肢蹄的步骤。
进一步的，依据每只牛蹄的着地敏感性来确定跛行的肢蹄。
进一步的，为了准确知晓奶牛的跛行情况以分情况处理，所述非正常包括：轻度跛行、中度跛行和严重跛行。
进一步的，为了准确捕捉奶牛到牛蹄运动轨迹和头部运动轨迹，所述奶牛的行走视频为奶牛的侧身行走视频。
附图说明
图1是本发明的基于奶牛身体关键点运动轨迹的跛行检测方法的流程图；
图2是实现本发明方法硬件支撑的结构图；
图3是本发明的采用运动轨迹分析模型对奶牛视频进行自动分析的结果示意图；
图4是本发明的牛蹄运动曲线示意图；
图5是本发明的奶牛头部摆动曲线示意图；
图6是本发明的跛行奶牛的牛蹄运动曲线参数变化示意图；
图7是本发明的跛行奶牛的头部摆动曲线参数变化示意图。
具体实施方式
本发明提供了一种基于奶牛身体关键点运动轨迹的跛行检测方法，其流程如图1所示。为了实现该方法，需要的硬件支撑包括视频采集设备和计算机。如图2所示，视频采集设备(对应图2中的视频采集模块)用于采集处于自然行走状态的奶牛的行走视频，并将视频传输给计算机；计算机(包括图2中的视频分析模块、参数计算模块和分类模块)用于对奶牛的行走视频进行分析与处理以提取出奶牛的牛蹄运动轨迹和头部运动轨迹(由图2中的视频分析模块实现该功能)，基于牛蹄运动轨迹和头部运动轨迹计算奶牛跛行参数(由图2中的参数计算模块实现该功能)、对奶牛跛行程度进行分级评价(由图2中的分类模块实现该功能)、确定跛行的肢蹄，即实现本发明的一种基于奶牛身体关键点运动轨迹的跛行检测方法。下面结合附图，对该方法进行详细介绍。
步骤一，通过视频采集设备采集奶牛的行走视频，并传输给计算机。
本实施例中，视频采集设备为普通彩色摄像机，采集地点为奶牛挤奶通道，奶牛行走路径约为3m，摄像机固定于距离通道一侧3m处，距离地面高度1.5m，放置在三角架上。摄像机通过无线传输方式传输给计算机。计算机一般可设置在控制室中。
步骤二，计算机利用运动轨迹分析模型，以从奶牛的行走视频提取出奶牛的牛蹄运动轨迹和头部运动轨迹(轨迹包括坐标)，这里牛蹄运动轨迹包括四个牛蹄的运动轨迹。其中，运动轨迹分析模型基于深度学习模型进行训练和测试得到，具体过程如下：
1、采用视频采集设备对不同环境下大量的奶牛的行走视频进行采集。
这里的不同环境为不同光照强度、不同地理位置或者是否有养殖人员出现的环境条件。较佳的，视频采集设备采集奶牛的侧身行走视频。例如，可选择室外自然环境下，奶牛行走路径可以为能够容纳单头奶牛通过的直线通道。具体的，采集地点为奶牛挤奶通道，奶牛行走路径约为3m，摄像机固定于距离通道一侧3m处，距离地面高度1.5m，放置在三角架上。
2、从奶牛的行走视频中抽取若干视频，采用k均值聚类算法(k-means clusteringalgorithm)从中提取出特征帧，并对特征帧中的奶牛牛蹄和头部进行标记。
3、构建深度学习模型，深度学习模型的输入为特征帧，深度学习模型的输出为奶牛的牛蹄位置(四个牛蹄全部包括在内)和头部位置。
4、将标记好的数据集分为训练集和测试集，并使用训练集对构建的深度学习模型进行训练，得到若干第一运动轨迹分析模型。
5、使用测试集对第一运动轨迹分析模型进行测试，以最终选出稳健的运动轨迹分析模型。利用该轨迹分析模型便可对待分析奶牛的行走视频进行分析处理，提取得到奶牛的行走视频中每一帧图像中奶牛牛蹄位置和头部位置，进而根据每一帧图像中奶牛牛蹄位置和头部位置，得到视频中奶牛的牛蹄运动轨迹和头部运动轨迹。采用该运动轨迹分析模型得到的自动分析的结果如图3所示，图3中符号标注即为提取出的奶牛牛蹄位置和头部位置。
步骤三，根据步骤二中得到的牛蹄运动轨迹和头部运动轨迹，提取出覆盖奶牛身体主要特征的跛行参数，包括步幅不一致性、步进时间不一致性、跟踪性能、牛蹄着地敏感性、牛蹄支撑相占比不一致性、头部摆动幅度。下面对这几个跛行参数进行详细介绍。
以奶牛的四个牛蹄全部抬起并落下一次为一个运动周期，以奶牛头部从最低点运动到最高点为一个摆动周期。如图4、5所示，根据牛蹄运动运动轨迹和头部运动轨迹，分别提取出奶牛牛蹄落地点和抬起点的坐标及其所对应的帧号、以及奶牛头部每个摆动周期的峰值。ZQ、YQ、ZH、YH分别表示奶牛左前蹄、右前蹄、左后蹄、右后蹄，LW、QW分别表示当前运动周期牛蹄第一个落点位置和起点位置，LW’、QW’分别表示当前运动周期牛蹄第二个落点位置和起点位置，LS、QS分别表示当前运动周期牛蹄第一个落点时间和起点时间，LS’、QS’分别表示当前运动周期牛蹄第二个落点时间和起点时间，NT表示奶牛头部，hG、hD分别表示一个摆动周期内奶牛头部运动的最高点和最低点。
本实施例中，步幅不一致性、步进时间不一致性、跟踪性能、牛蹄着地敏感性、牛蹄支撑相占比不一致性、头部摆动幅度分别对应采用如下公式计算得到：
1、步幅不一致性。公式为：
ZB1＝max(|BFZQ-BFYQ|,|BFZH-BFYH|)
BFZQ＝LWZQ-QWZQ
BFYQ＝LW’YQ-QWYQ
BFZH＝LW’ZH-QWZH
BFYH＝LWYH-QWYH
其中，ZB1表示步幅不一致性；BFZQ表示左前蹄步幅，LWZQ和QWZQ分别表示当前运动周期左前蹄第一个落点位置和起点位置；BFYQ表示右前蹄步幅，QWYQ表示当前运动周期右前蹄第一个起点位置，LW’YQ为右前蹄第二个落点位置；BFZH表示左后蹄步幅，QWZH表示当前运动周期左后蹄第一个起点位置，LW’ZH为左后蹄第二个落点位置；BFYH表示右后蹄步幅，LWYH和QWYH分别表示当前运动周期右后蹄第一个落点位置和起点位置；且以奶牛的四个牛蹄全部抬起并落下一次为一个运动周期；
2、步进时间不一致性。公式为：
ZB2＝max(|BJSJZQ-BJSJYQ|,|BJSJZH-BJSJYH|)
BJSJZQ＝LSZQ-QSZQ
BJSJYQ＝LS’YQ-QSYQ
BJSJZH＝LS’ZH-QSZH
BJSJYH＝LSYH-QSYH
其中，ZB2表示步进时间不一致性；BJSJZQ表示左前蹄步进时间，LSZQ和QSZQ分别表示当前运动周期左前蹄第一个落点时间和起点时间；BJSJYQ表示右前蹄步进时间，QSYQ表示当前运动周期右前蹄第一个起点时间，LS’YQ为右前蹄第二个落点时间；BJSJZH表示左后蹄步进时间，QSZH表示当前运动周期左后蹄第一个起点时间，LS’ZH为左后蹄第二个落点时间；BJSJYH表示右后蹄步进时间，LSYH和QSYH分别表示当前运动周期右后蹄第一个落点时间和起点时间；
3、跟踪性能。公式为：
ZB3＝max(ΔWZ,ΔWY)
ΔWZ＝QWZQ-LWZH
ΔWY＝QWYQ-LWYH
其中，ZB3表示跟踪性能；ΔWZ表示左侧牛蹄位置差,LWZH为当前运动周期左后蹄第一个落点位置；ΔWY表示右侧牛蹄位置差；
4、牛蹄着地敏感性。公式为：
ZB4＝min(MGZQ,MGYQ,MGZH,MGYH)
MGZQ＝vZQ-0.5＝((LWZQ-LWZQ-0.5)/0.5)*fps
MGZH＝vZH-0.5＝((LWZH-LWZH-0.5)/0.5)*fps
MGYQ＝vYQ-0.5＝((LWYQ-LWYQ-0.5)/0.5)*fps
MGYH＝vYH-0.5＝((LWYH-LWYH-0.5)/0.5)*fps
其中，ZB4表示牛蹄着地敏感性；MGZQ表示左前蹄着地敏感性，vZQ-0.5表示左前蹄着地前0.5秒内的速度，LWZQ-0.5表示0.5秒前左前蹄位置，fps为视频帧率；MGZH表示左后蹄着地敏感性，vZH-0.5表示左后蹄着地前0.5秒内的速度，LWZH-0.5表示0.5秒前左后蹄位置；MGYQ表示右前蹄着地敏感性，vYQ-0.5表示右前蹄着地前0.5秒内的速度，LWYQ为当前运动周期右前蹄第一个落点位置，LWYQ-0.5表示0.5秒前右前蹄位置；MGYH表示右后蹄着地敏感性，vYH-0.5表示右后蹄着地前0.5秒内的速度，LWYH-0.5表示0.5秒前右后蹄位置；
5、牛蹄支撑相占比不一致性。牛蹄支撑相占比不一致性公式为：
ZB5＝max(|ZCXZBZQ-ZCXZBYQ|,|ZCXZBZH-ZCXZBYH|)
ZCXZBZQ＝(QS’ZQ-LSZQ)/(QS’ZQ-QSZQ)
ZCXZBZH＝(QSZH-LSZH)/(LS’ZH-LSZH)
ZCXZBYQ＝(QSYQ-LSYQ)/(LS’YQ-LSYQ)
ZCXZBYH＝(QS’YH-LSYH)/(QS’YH-QSYH)
其中，ZB5表示牛蹄支撑相占比不一致性，ZCXZBZQ表示左前蹄支撑相占比，QS’ZQ为当前运动周期左前蹄第二个起点时间；ZCXZBZH表示左后蹄支撑相占比，QS’ZH为当前运动周期左后蹄第二个起点时间；ZCXZBYQ表示右前蹄支撑相占比，QS’YQ为当前运动周期右前蹄第二个起点时间；ZCXZBYH表示右后蹄支撑相占比，QS’YH为当前运动周期右后蹄第二个起点时间；
6、头部摆动幅度。公式为：
ZB6＝max[BDZQFZ1,BDZQFZ2,…]
BDZQFZi＝hGi-hDi
其中，ZB6表示头部摆动幅度；BDZQFZi表示第i个摆动周期峰值，hGi和hDi分别表示第i个摆动周期奶牛头部运动的最高点和最低点。
图6、7分别给出了跛行奶牛的牛蹄运动轨迹和头部运动轨迹的变化示意图，从这两幅图上可以看出，奶牛跛行肢蹄着地前的准备时间增加，着地敏感性增大；同侧牛蹄位置差变大，跟踪性能下降；牛头摆动峰值增加，摆动幅度增大。从曲线上还可以判断出奶牛的步幅不一致性、步进时间不一致性增大，牛蹄支撑相占比不一致性增大等参数变化。
步骤四，根据奶牛的跛行参数，对奶牛的跛行程度进行检测，确定奶牛的跛行程度，跛行程度包括正常和非正常，非正常又可根据实际情况继续细化成多个等级。具体的：
1、专家采用相同的评分标准对奶牛的行走视频进行运动评分。本实施例中，评分采用四分制评分系统，1分表示正常，2分表示轻度跛行，3分表示中度跛行，4分表示严重跛行。
2、依据专家得出的运动评分结果统计出各个跛行参数在不同运动得分上的分布情况。
3、构建分类器(本实施例中选用决策树判断模型)，依据跛行参数的分布情况，对每个跛行参数设置合适的权值，选择若干奶牛的跛行参数及其运动评分对构建的分类器进行训练，以得到跛行程度分类模型。
4、得到跛行程度分类模型后，便可将待分析奶牛的跛行参数输入至跛行程度分类模型中，得到待分析奶牛的最终运动评分，实现奶牛跛行程度的分级。
步骤五，在确定奶牛的跛行程度为轻度跛行或者以上，即奶牛跛行程度评分为2分或者以上时，对跛行奶牛的每只牛蹄进行分析，判断出跛行的肢蹄。具体的：
对于运动评分为2分以及以上的奶牛，对其四蹄的着地敏感性进行分析，通过设置合适的牛蹄着地敏感性阈值对每只牛蹄进行跛行判断，以确定具体那一只肢蹄出现跛行。
综上，针对现有技术中对奶牛跛行特征提取的覆盖率不高、以及现有方法无法实现在复杂环境下对奶牛身体关键部位的准确跟踪的问题，本发明采用深度学习算法实现对奶牛身体关键部位运动轨迹的自动跟踪，得到全面的跛行参数，极大的提高了奶牛跛行检测的准确率；并且可以对每只牛蹄进行分析，判断出跛行肢蹄，更加方便了跛行奶牛的治疗。本发明对提高奶牛跛行检测的准确率、提高奶牛福利、降低跛行带来的经济损失有着重要的意义。
本实施例中，在提取奶牛的牛蹄运动轨迹和头部运动轨迹时，所采用的运动轨迹分析模型为深度学习模型。作为其他实施方式，还可采用现有技术中的其他模型，例如卷积神经网络模型。
本实施例中，在确定奶牛的跛行情况时，所采用的跛行程度分类模型为决策树判断模型。作为其他实施方，还可采用现有技术中的其他模型，例如随机森林分类器。

Claims (10)

1.一种基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，包括如下步骤：
1)获取奶牛的行走视频，并从行走视频中提取奶牛的牛蹄运动轨迹和头部运动轨迹；
2)根据奶牛的牛蹄运动轨迹和头部运动轨迹，提取出奶牛的跛行参数；所述奶牛的跛行参数包括步幅不一致性、步进时间不一致性、跟踪性能、牛蹄着地敏感性、牛蹄支撑相占比不一致性、以及头部摆动幅度；
3)根据奶牛的跛行参数，确定奶牛的跛行程度，所述跛行程度包括正常和非正常。
2.根据权利要求1所述的基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，所述步幅不一致性为：
ZB1＝max(|BFZQ-BFYQ|,|BFZH-BFYH|)
BFZQ＝LWZQ-QWZQ
BFYQ＝LW’YQ-QWYQ
BFZH＝LW’ZH-QWZH
BFYH＝LWYH-QWYH
其中，ZB1表示步幅不一致性；BFZQ表示左前蹄步幅，LWZQ和QWZQ分别表示当前运动周期左前蹄第一个落点位置和起点位置；BFYQ表示右前蹄步幅，QWYQ表示当前运动周期右前蹄第一个起点位置，LW’YQ为右前蹄第二个落点位置；BFZH表示左后蹄步幅，QWZH表示当前运动周期左后蹄第一个起点位置，LW’ZH为左后蹄第二个落点位置；BFYH表示右后蹄步幅，LWYH和QWYH分别表示当前运动周期右后蹄第一个落点位置和起点位置；且以奶牛的四个牛蹄全部抬起并落下一次为一个运动周期；
所述步进时间不一致性为：
ZB2＝max(|BJSJZQ-BJSJYQ|,|BJSJZH-BJSJYH|)
BJSJZQ＝LSZQ-QSZQ
BJSJYQ＝LS’YQ-QSYQ
BJSJZH＝LS’ZH-QSZH
BJSJYH＝LSYH-QSYH
其中，ZB2表示步进时间不一致性；BJSJZQ表示左前蹄步进时间，LSZQ和QSZQ分别表示当前运动周期左前蹄第一个落点时间和起点时间；BJSJYQ表示右前蹄步进时间，QSYQ表示当前运动周期右前蹄第一个起点时间，LS’YQ为右前蹄第二个落点时间；BJSJZH表示左后蹄步进时间，QSZH表示当前运动周期左后蹄第一个起点时间，LS’ZH为左后蹄第二个落点时间；BJSJYH表示右后蹄步进时间，LSYH和QSYH分别表示当前运动周期右后蹄第一个落点时间和起点时间；
所述跟踪性能为：
ZB3＝max(ΔWZ,ΔWY)
ΔWZ＝QWZQ-LWZH
ΔWY＝QWYQ-LWYH
其中，ZB3表示跟踪性能；ΔWZ表示左侧牛蹄位置差，LWZH为当前运动周期左后蹄第一个落点位置；ΔWY表示右侧牛蹄位置差；
所述牛蹄着地敏感性为：
ZB4＝min(MGZQ,MGYQ,MGZH,MGYH)
MGZQ＝vZQ-0.5＝((LWZQ-LWZQ-0.5)/0.5)*fps
MGZH＝vZH-0.5＝((LWZH-LWZH-0.5)/0.5)*fps
MGYQ＝vYQ-0.5＝((LWYQ-LWYQ-0.5)/0.5)*fps
MGYH＝vYH-0.5＝((LWYH-LWYH-0.5)/0.5)*fps
其中，ZB4表示牛蹄着地敏感性；MGZQ表示左前蹄着地敏感性，vZQ-0.5表示左前蹄着地前0.5秒内的速度，LWZQ-0.5表示0.5秒前左前蹄位置，fps为视频帧率；MGZH表示左后蹄着地敏感性，vZH-0.5表示左后蹄着地前0.5秒内的速度，LWZH-0.5表示0.5秒前左后蹄位置；MGYQ表示右前蹄着地敏感性，vYQ-0.5表示右前蹄着地前0.5秒内的速度，LWYQ为当前运动周期右前蹄第一个落点位置，LWYQ-0.5表示0.5秒前右前蹄位置；MGYH表示右后蹄着地敏感性，vYH-0.5表示右后蹄着地前0.5秒内的速度，LWYH-0.5表示0.5秒前右后蹄位置；
所述牛蹄支撑相占比不一致性为：
ZB5＝max(|ZCXZBZQ-ZCXZBYQ|,|ZCXZBZH-ZCXZBYH|)
ZCXZBZQ＝(QS’ZQ-LSZQ)/(QS’ZQ-QSZQ)
ZCXZBZH＝(QSZH-LSZH)/(LS’ZH-LSZH)
ZCXZBYQ＝(QSYQ-LSYQ)/(LS’YQ-LSYQ)
ZCXZBYH＝(QS’YH-LSYH)/(QS’YH-QSYH)
其中，ZB5表示牛蹄支撑相占比不一致性，ZCXZBZQ表示左前蹄支撑相占比，QS’ZQ为当前运动周期左前蹄第二个起点时间；ZCXZBZH表示左后蹄支撑相占比，QS’ZH为当前运动周期左后蹄第二个起点时间；ZCXZBYQ表示右前蹄支撑相占比，QS’YQ为当前运动周期右前蹄第二个起点时间；ZCXZBYH表示右后蹄支撑相占比，QS’YH为当前运动周期右后蹄第二个起点时间；
所述头部摆动幅度为各个摆动周期峰值中的最大值，且摆动周期峰值为摆动周期内奶牛头部运动的最高点和最低点的差值，且以奶牛头部从最低点运动到最高点为一个摆动周期。
3.根据权利要求1所述的基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，步骤1)中，从行走视频中提取奶牛的牛蹄运动轨迹和头部运动轨迹的手段为：
将奶牛的行走视频输入至运动轨迹分析模型，以得到行走视频的每一帧图像中奶牛的牛蹄位置和头部位置；
根据每一帧图像中奶牛的牛蹄位置和头部位置，得到奶牛的牛蹄运动轨迹和头部运动轨迹。
4.根据权利要求3所述的基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，所述运动轨迹分析模型为深度学习模型，且所述运动轨迹分析模型利用标记好奶牛牛蹄位置和头部位置的奶牛图像进行训练得到。
5.根据权利要求1所述的基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，步骤3)中，根据奶牛的跛行参数确定奶牛的跛行情况的手段为：
将奶牛的跛行参数输入至跛行程度分类模型中，得到奶牛的跛行程度；所述跛行程度分类模型为分类器，所述跛行程度分类模型利用奶牛跛行参数以及与跛行参数对应的跛行程度进行训练得到。
6.根据权利要求5所述的基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，所述分类器为决策树判断模型。
7.根据权利要求1所述的基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，若步骤3)中确定奶牛的跛行程度为非正常，则在步骤3)后，还包括对奶牛的每只牛蹄进行分析以确定跛行的肢蹄的步骤。
8.根据权利要求7所述的基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，依据每只牛蹄的着地敏感性来确定跛行的肢蹄。
9.根据权利要求1所述的基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，所述非正常包括：轻度跛行、中度跛行和严重跛行。
10.根据权利要求1所述的基于奶牛身体关键点运动轨迹的跛行检测方法，其特征在于，所述奶牛的行走视频为奶牛的侧身行走视频。
CN202110745767.7A 2021-07-01 2021-07-01 一种基于奶牛身体关键点运动轨迹的跛行检测方法 Active CN113288125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110745767.7A CN113288125B (zh) 2021-07-01 2021-07-01 一种基于奶牛身体关键点运动轨迹的跛行检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110745767.7A CN113288125B (zh) 2021-07-01 2021-07-01 一种基于奶牛身体关键点运动轨迹的跛行检测方法

Publications (2)

Publication Number Publication Date
CN113288125A true CN113288125A (zh) 2021-08-24
CN113288125B CN113288125B (zh) 2024-04-05

Family

ID=77330263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110745767.7A Active CN113288125B (zh) 2021-07-01 2021-07-01 一种基于奶牛身体关键点运动轨迹的跛行检测方法

Country Status (1)

Country Link
CN (1) CN113288125B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4233845A (en) * 1978-07-28 1980-11-18 Massachusetts Institute Of Technology Method of assessing performance potential of a quadruped
WO2014118788A2 (en) * 2013-02-04 2014-08-07 Faunus Ltd. Early warning system and/or optical monitoring of livestock including poultry
JP2016013112A (ja) * 2014-07-03 2016-01-28 富士通株式会社 計測装置、計測方法及び計測プログラム
US20160073614A1 (en) * 2013-09-13 2016-03-17 Kyle Douglas Lampe System and Method for Detection of Lameness in Sport Horses and other Quadrupeds
WO2016200564A1 (en) * 2015-06-08 2016-12-15 Kyle Lampe System and method for detection of lameness in sport horses and other quadrupeds
WO2019191011A1 (en) * 2018-03-30 2019-10-03 Bay West Veterinary Surgery, Inc. Quadruped lameness detection
US20200085019A1 (en) * 2018-09-18 2020-03-19 Horsepower Technologies, Inc. Equid wearable device, performance analytics system and methods thereof
CN111339850A (zh) * 2020-02-14 2020-06-26 中国农业大学 一种基于支撑时相的奶牛跛行检测方法与系统
CN112434577A (zh) * 2020-11-12 2021-03-02 中国农业大学 奶牛跛行检测方法及奶牛跛行检测装置
CN112528772A (zh) * 2020-11-27 2021-03-19 中国农业大学 基于热红外的奶牛跛行运动特征检测方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4233845A (en) * 1978-07-28 1980-11-18 Massachusetts Institute Of Technology Method of assessing performance potential of a quadruped
WO2014118788A2 (en) * 2013-02-04 2014-08-07 Faunus Ltd. Early warning system and/or optical monitoring of livestock including poultry
US20160073614A1 (en) * 2013-09-13 2016-03-17 Kyle Douglas Lampe System and Method for Detection of Lameness in Sport Horses and other Quadrupeds
JP2016013112A (ja) * 2014-07-03 2016-01-28 富士通株式会社 計測装置、計測方法及び計測プログラム
WO2016200564A1 (en) * 2015-06-08 2016-12-15 Kyle Lampe System and method for detection of lameness in sport horses and other quadrupeds
WO2019191011A1 (en) * 2018-03-30 2019-10-03 Bay West Veterinary Surgery, Inc. Quadruped lameness detection
US20200085019A1 (en) * 2018-09-18 2020-03-19 Horsepower Technologies, Inc. Equid wearable device, performance analytics system and methods thereof
CN111339850A (zh) * 2020-02-14 2020-06-26 中国农业大学 一种基于支撑时相的奶牛跛行检测方法与系统
CN112434577A (zh) * 2020-11-12 2021-03-02 中国农业大学 奶牛跛行检测方法及奶牛跛行检测装置
CN112528772A (zh) * 2020-11-27 2021-03-19 中国农业大学 基于热红外的奶牛跛行运动特征检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩书庆: "奶牛跛行自动识别技术研究现状与挑战", 智慧农业, vol. 2, no. 3, pages 23 - 26 *

Also Published As

Publication number Publication date
CN113288125B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
Pluk et al. Automatic measurement of touch and release angles of the fetlock joint for lameness detection in dairy cattle using vision techniques
US20210406530A1 (en) System and method for identification of individual animals based on images of the back
Zhao et al. Automatic lameness detection in dairy cattle based on leg swing analysis with an image processing technique
CN108717523B (zh) 基于机器视觉的母猪发情行为检测方法
Kang et al. Accurate detection of lameness in dairy cattle with computer vision: A new and individualized detection strategy based on the analysis of the supporting phase
CN111339850B (zh) 一种基于支撑时相的奶牛跛行检测方法与系统
CN113785783B (zh) 一种牲畜分群系统及方法
CN111198549B (zh) 一种基于大数据的家禽养殖监测管理系统
CN114037552B (zh) 一种肉鸭生理生长信息巡检方法及系统
Haladjian et al. Gait anomaly detection in dairy cattle
Bhoj et al. Image processing strategies for pig liveweight measurement: Updates and challenges
CN107426488B (zh) 肉鸡跛行自动监测方法及装置
CN110447562B (zh) 跛牛识别及自动分群方法及其系统
Fodor et al. Automated pose estimation reveals walking characteristics associated with lameness in broilers
CN117351404A (zh) 一种奶牛分娩应激程度判识方法及系统
CN113288125A (zh) 一种基于奶牛身体关键点运动轨迹的跛行检测方法
Azarpajouh et al. Precision livestock farming: automatic lameness detection in intensive livestock systems
CN114070862B (zh) 基于物联网的畜牧控制方法、系统和可读存储介质
CN111652084B (zh) 一种异常蛋鸡识别方法及装置
Echterhoff et al. Gait analysis in horse sports
CN112418018A (zh) 奶牛行走异常检测方法及其装置
Bahr et al. The ease of movement: how automatic gait and posture analysis can contribute to early lameness detection in dairy cattle
CN115985502B (zh) 一种基于多元感知的狮头鹅健康决策方法及装置
Van Hertem et al. On farm implementation of a fully automatic computer vision system for monitoring gait related measures in dairy cows
Doornweerd et al. Turkey Gait Analysis: Predicting Expert Score With Machine Learning Based on IMU Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant