CN114299616A - 一种基于机器视觉的奶牛步态评分方法和系统 - Google Patents

Abstract

本公开涉及一种基于机器视觉的奶牛步态评分方法和系统。其中方法包括：步骤S1、利用图像采集装置采集奶牛在指定区域内的行走视频；步骤S2、从所述行走视频中提取出所述奶牛的关键部位的特征点，所述关键部位包含头部、颈部、背部、尾部、胫骨、膝盖、蹄部；步骤S3、对所述关键部位的特征点进行标注，标注信息包括所述关键部位的名称、所述特征点的坐标、所述特征点的置信度；步骤S4、基于所述关键部位的特征点和所述标注信息确定所述奶牛的步态评分。

Description

一种基于机器视觉的奶牛步态评分方法和系统

技术领域

本发明属于图像识别技术领域，具体涉及一种基于机器视觉的奶牛步态评分方法和系统。

背景技术

中国作为畜牧业大国，其畜牧总量一直稳居世界前列。奶牛跛行作为奶牛养殖过程中的常见疾病，不仅影响奶牛的产奶量，降低奶牛生活福利，还会导致繁殖能力下降，淘汰率提高。美国高盛研究报告《人工智能与精准农业》显示，奶牛平均跛行率为23.5％，每年造成经济损失110亿美元，人工检测奶牛跛行依赖观察者主观性因素，费时费力，因此开展奶牛跛行的早期检测、自动检测具有重要意义。

目前，对奶牛跛行的检测方法主要分为接触式和非接触式两种，通过分析奶牛行为特征对跛行进行检测，国内外学者对此进行了大量研究。以往的研究中通常以检测奶牛弓背为主，但是弓背特征存在个体差异性，不同奶牛体况对弓背影响较大；对于奶牛步态检测，腿部提取较为模糊，一些研究只能通过手动标记或与压力垫结合确定牛蹄着地位置，无法实现准确的自动定位。

机器视觉技术，是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。机器视觉技术最大的特点是速度快、信息量大、功能多。

使用机器视觉技术可以智能感知奶牛行走特征，避免应激反应，近年来成为奶牛跛行检测的主要手段。奶牛跛行主要是由蹄病引起的行为变化，奶牛行走时蹄部由于疼痛承重能力下降，奶牛步态变化以及相应的头颈部斜率变化、弓背程度可以直观反映跛行程度，可通过机器视觉技术检测跛行奶牛步态。由于牛蹄相对体积较小，形状特征不明显，故定位较困难。前人的研究多以手动标记为主，无法实现自动检测，而且在奶牛的跛行检测中，通常只根据弓背情况或跛行检测判断奶牛跛行与否。

(一)基于机器视觉技术的奶牛跛行检测研究

比利时学者Poursaberi等人采用图像分析技术对奶牛跛行进行了早期识别。该研究考虑牛在摄像头面前的停顿及牛行走时的不统一性，对原始采集的数据进行了预处理，通过背景消除法对运动的奶牛粗略定位，同时基于二值灰度图统计分析的方法对移动的奶牛进行识别。为了把奶牛特征从背景中提取，前景放大法被用来分隔奶牛图像和背景，获得了奶牛站立和行走时背部的图像，通过与正常牛的背部样条曲线比较，跛行奶牛背部样条曲线有明显差异。因此，背部姿态信息可以检测奶牛跛行。

为了研究蹄病如何影响奶牛步态，Flower等人利用摄像机在长为40m的测量通道记录了48头高产荷斯坦奶牛的步态数据，通过运动分析软件提取6个运动学步态特征，绘制了健康奶牛与蹄部病变奶牛趾蹄时空关系分布图，通过分析发现，与患有蹄病奶牛相比，健康奶牛步行速度更快，步幅持续时间更短，步幅更长；奶牛通过同侧蹄和对侧蹄之间交替支撑来完成双趾支撑；在三趾支撑期间，健康奶牛仅在三趾上花费了步幅时间的18％，而蹄病奶牛为减轻患趾负荷，这一数据增加了一倍多，占步幅时间的42％。由此可知，蹄部病变的奶牛支撑持续时间和摆动持续时间具有差异，可以作为检测跛行指标。

Kang Xi等人利用计算机视觉技术对奶牛牛蹄位置进行自动定位，通过分析奶牛步行时的同侧牛蹄运动轨迹，对跛行进行了识别分类。宋怀波从奶牛序列图像中提取头部、颈部和背部连接的轮廓线，计算该线拟合直线斜率，对18头奶牛进行跛行识别分类，有94％的奶牛被正确分类。Jiang等人采用双正态分布模型获取目标奶牛像素区域，设计了背景统计模型确定奶牛跛行程度，结果表明该方法可以用于检测奶牛跛行。

(二)基于测力传感器技术的奶牛跛行检测研究

自20世纪80年代以来，人们对测力传感器技术检测跛行进行了大量的研究，主要以测力板和压敏垫来开发奶牛跛行自动识别系统

Telezhenko首次描述奶牛足迹时空变量，以评估非跛行奶牛的步态模式。选取步幅长度、步长、步宽、跟踪距离、步角和步态不对称性等变量，通过比较各变量的变异系数发现，测量之间变异较小，表明奶牛至少在3周的时间内保持相同平均的步态模式。对32头奶牛时空特征进行进一步分析表明，步速与步幅长度、步长、跟踪距离均呈正相关。因此，奶牛在健康状态下，步态是相对稳定的，而发生跛行时，稳定性将被破坏，导致步态异常。

Van De Gucht等人选取9头非跛行奶牛、11头轻度跛行奶牛和12头重度跛行奶牛，利用压敏垫测量奶牛趾蹄着地、负重和抬起相关的时间变量。对比不同评分下的各变量发现，跛行奶牛趾蹄着地和抬起时间比例较长，而完全负重时间比例较短，着地和抬起时间随跛行程度的增加而增加。这表明，奶牛为减轻趾蹄疼痛，会小心的将趾蹄放在地上，相应的趾蹄抬起速度也会变慢。因此，奶牛摆动阶段的步态特征可以作为检测跛行的依据。

1.基于机器视觉技术的奶牛跛行检测研究

该方案中，目前的研究对象较为单一，多为针对奶牛的摆头、弓背、跛行进行单一的检测分析，无法准确的判断奶牛的跛行状况，而且，检测结果通常为是否存在跛行行为，无法准确的评判奶牛的跛行程度。在实际生产过程中，兽医对奶牛进行步态打分时，多采用5分制的评分体系，结合奶牛的不同特征进行综合分析，评价奶牛的跛行程度，针对不同跛行程度的奶牛采用不同的管理方式。

2.基于测力传感器技术的奶牛跛行检测研究

该方案中，可以全面、直观的对奶牛蹄部进行采集，包括着地时间、受力分析等，但是该方案在实际使用过程中不易实现，仅限于实验室条件。首先，设备在使用过程中对实验环境要求严格，普通养殖场的环境无法达到实验室的标准；其次，设备价格性价比不高，且在养殖场部署该设备会对养殖场造成巨大的成本提高。

发明内容

提供了本公开以解决现有技术中存在的上述问题。

本公开第一方面提供一种基于机器视觉的奶牛步态评分方法，所述方法包括：

步骤S1、利用图像采集装置采集奶牛在指定区域内的行走视频；

步骤S2、从所述行走视频中提取出所述奶牛的关键部位的特征点，所述关键部位包含头部、颈部、背部、尾部、胫骨、膝盖、蹄部；

步骤S3、对所述关键部位的特征点进行标注，标注信息包括所述关键部位的名称、所述特征点的坐标、所述特征点的置信度；

步骤S4、基于所述关键部位的特征点和所述标注信息确定所述奶牛的步态评分。

进一步地，所述指定区域的路面具有第一数值的坚硬度和第二数值的防滑度，使得所述奶牛在行走过程中表现出正常步态，所述正常步态为不包括摆头、弓背、跛行的步态。

进一步地，在所述步骤S2中，将从所述行走视频中提取出的所述奶牛的关键部位的特征点分为训练集和测试集，所述训练集用于训练特征提取模型，所述测试集用于测试经训练的特征提取模型，使得经测试的特征提取模型的特征提取准确度达到第三数值，以利用所述特征提取准确度达到所述第三数值特征提取模型从所述行走视频中提取出所述奶牛的关键部位的特征点。

进一步地，在所述步骤S4中，确定所述奶牛的步态评分具体包括：

通过所述关键部位的特征点和所述标注信息确定所述奶牛的摆头情况、负重情况、弓背情况以及步态对称情况；

当所述奶牛摆头且不负重时，所述步态评分为5分；

当所述奶牛摆头且负重时，所述步态评分为4分；

当所述奶牛不摆头且步态不对称时，所述步态评分为3分；

当所述奶牛不摆头、步态对称且弓背时，所述步态评分为2分；

当所述奶牛不摆头、步态对称且不弓背时，所述步态评分为1分。

进一步地，以所述奶牛的摆头情况来表征所述奶牛的跛行状态，以奶牛头部与奶牛颈部末端连线的长短变化来反应所述奶牛的摆头情况；

以所述奶牛脊椎的弧度来表征所述奶牛的弓背情况，以胸椎第一关节、腰椎第一关节、尾椎的连线夹角来表征所述奶牛脊椎的弧度；

通过对所述奶牛的步态、步长、步频进行分析来确定所述奶牛的步态对称情况；

以所述奶牛的跛行状态来确定所述奶牛的负重情况。

本公开第二方面提供一种基于机器视觉的奶牛步态评分系统，所述系统包括：

图像采集单元，被配置为，利用图像采集装置采集奶牛在指定区域内的行走视频；

特征提取单元，被配置为，从所述行走视频中提取出所述奶牛的关键部位的特征点，所述关键部位包含头部、颈部、背部、尾部、胫骨、膝盖、蹄部；

特征标注单元，被配置为，对所述关键部位的特征点进行标注，标注信息包括所述关键部位的名称、所述特征点的坐标、所述特征点的置信度；

步态评分单元，被配置为，基于所述关键部位的特征点和所述标注信息确定所述奶牛的步态评分。

进一步地，所述指定区域的路面具有第一数值的坚硬度和第二数值的防滑度，使得所述奶牛在行走过程中表现出正常步态，所述正常步态为不包括摆头、弓背、跛行的步态。

进一步地，所述特征提取单元具体被配置为，将从所述行走视频中提取出的所述奶牛的关键部位的特征点分为训练集和测试集，所述训练集用于训练特征提取模型，所述测试集用于测试经训练的特征提取模型，使得经测试的特征提取模型的特征提取准确度达到第三数值，以利用所述特征提取准确度达到所述第三数值特征提取模型从所述行走视频中提取出所述奶牛的关键部位的特征点。

进一步地，所述步态评分单元具体被配置为，以如下方式确定所述奶牛的步态评分：

通过所述关键部位的特征点和所述标注信息确定所述奶牛的摆头情况、负重情况、弓背情况以及步态对称情况；

当所述奶牛摆头且不负重时，所述步态评分为5分；

当所述奶牛摆头且负重时，所述步态评分为4分；

当所述奶牛不摆头且步态不对称时，所述步态评分为3分；

当所述奶牛不摆头、步态对称且弓背时，所述步态评分为2分；

当所述奶牛不摆头、步态对称且不弓背时，所述步态评分为1分。

进一步地，以所述奶牛的摆头情况来表征所述奶牛的跛行状态，以奶牛头部与奶牛颈部末端连线的长短变化来反应所述奶牛的摆头情况；

以所述奶牛脊椎的弧度来表征所述奶牛的弓背情况，以胸椎第一关节、腰椎第一关节、尾椎的连线夹角来表征所述奶牛脊椎的弧度；

通过对所述奶牛的步态、步长、步频进行分析来确定所述奶牛的步态对称情况；

以所述奶牛的跛行状态来确定所述奶牛的负重情况。

综上，本公开提供的技术方案对奶牛的弓背、摆头、步态特征进行综合分析，涵盖人工分析中的绝大部分特征点；并将奶牛的摆头情况转换为奶牛的头颈部连线长度变化趋势；同时将奶牛在三维空间的运动拆分为为二维空间内的x坐标与时间t的关系和y坐标与时间t的关系进行分析，更直观的分析奶牛在运动过程中的轨迹情况；同时使用可见光监控视频，对奶牛在行走中的特征进行采集、分析，实现了奶牛的步态5分制评分。本公开提供的技术方案使用摄像头实现奶牛的5分制评分，节约成本的同时更全面的分析奶牛可能存在的问题；进一步兼顾奶牛的摆头、弓背、步态分析，与人工评分流程相一致，即能给出评分，同时也能够提供评分依据。

附图说明

图1示出了根据本公开实施例的采集奶牛行走视频的示意图；

图2示出了根据本公开实施例的步态评分的流程图；

图3a示出了根据本公开实施例的正常奶牛在行走过程中脊椎弧度变化情况的示意图；

图3b示出了根据本公开实施例的跛行奶牛在行走过程中脊椎弧度变化情况的示意图；

图4示出了根据本公开实施例的奶牛蹄部运动轨迹的示意图。

具体实施方式

为使本领域技术人员更好的理解本公开的技术方案，下面结合附图和具体实施方式对本公开作详细说明。下面结合附图和具体实施例对本公开的实施例作进一步详细描述，但不作为对本公开的限定。本文中所描述的各个步骤，如果彼此之间没有前后关系的必要性，则本文中作为示例对其进行描述的次序不应视为限制，本领域技术人员应知道可以对其进行顺序调整，只要不破坏其彼此之间的逻辑性导致整个流程无法实现即可。

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

本公开第一方面提供一种基于机器视觉的奶牛步态评分方法所述方法包括：

步骤S1、利用图像采集装置采集奶牛在指定区域内的行走视频；

步骤S2、从所述行走视频中提取出所述奶牛的关键部位的特征点，所述关键部位包含头部、颈部、背部、尾部、胫骨、膝盖、蹄部；

步骤S3、对所述关键部位的特征点进行标注，标注信息包括所述关键部位的名称、所述特征点的坐标、所述特征点的置信度；

步骤S4、基于所述关键部位的特征点和所述标注信息确定所述奶牛的步态评分。

以上方法使用摄像头对奶牛的行走视频进行采集，使用深度学习算法对奶牛的特征点：头部、颈部、背部、尾部、胫骨、膝盖、蹄部进行识别，将视频中各帧内特征点的坐标记录，分析奶牛在行走过程的各个特征点坐标的变化情况，反应奶牛在行走过程中的摆头、弓背、步态特征的变化情况，使用奶牛养殖业中广泛使用的五分制评分与各个特征点进行对应，给出步态评分。

在步骤S1，利用图像采集装置采集奶牛在指定区域内的行走视频。其中，所述指定区域的路面具有第一数值的坚硬度和第二数值的防滑度，使得所述奶牛在行走过程中表现出正常步态，所述正常步态为不包括摆头、弓背、跛行的步态。

具体地，使用摄像头对奶牛的行走视频进行采集，采集方式如图1所示(图1示出了根据本公开实施例的采集奶牛行走视频的示意图)，采集奶牛在前往挤奶厅的行走视频，该路段路面坚硬且不易打滑，能够很好的采集到奶牛的行走视频，表现出奶牛的正常步态。通过加装围栏，每次只允许单只奶牛通过，保证摄像头采集区域内只有单只奶牛通过。

在步骤S2，从所述行走视频中提取出所述奶牛的关键部位的特征点，所述关键部位包含头部、颈部、背部、尾部、胫骨、膝盖、蹄部。在所述步骤S2中，将从所述行走视频中提取出的所述奶牛的关键部位的特征点分为训练集和测试集，所述训练集用于训练特征提取模型，所述测试集用于测试经训练的特征提取模型，使得经测试的特征提取模型的特征提取准确度达到第三数值，以利用所述特征提取准确度达到所述第三数值特征提取模型从所述行走视频中提取出所述奶牛的关键部位的特征点。

具体地，视频的关键点提取使用DeepLabCut深度卷积网络实现。该网络模型是来自EPEL洛桑理工Mackenzie Mathis开发的用于姿态估计开源软件包.可用少量的数据标注(50-200张图片)得到较为准确的性能。模型训练选取无遮挡的奶牛行走视频，要求拍摄的视频能够肉眼清楚的识别以上提到的关键点，每段视频使用kemeans算法提取20帧(依训练视频数量而定，保证最后提取帧数约为200帧)，之后对抽取的20帧图像进行筛选，保证每一帧中的关键点清晰可见，不符合要求的图片更换为相邻帧图片。按比例随机划分训练集与测试集，进行第一次模型训练；训练后得到的模型进行测试，对检测不准确的特征点进行重新标记、训练，最终得到准确的模型。

在步骤S3，对所述关键部位的特征点进行标注，标注信息包括所述关键部位的名称、所述特征点的坐标、所述特征点的置信度。

具体地，使用模型提供的数据标注软件对选取的图片内的特征点标注，标注信息包含特征点的名称以及位置；使用训练好的模型对视频进行检测，将检测信息导出，得到关于帧索引的各个特征点的坐标信息以及置信度。

在步骤S4，基于所述关键部位的特征点和所述标注信息确定所述奶牛的步态评分。在所述步骤S4中，确定所述奶牛的步态评分具体包括：通过所述关键部位的特征点和所述标注信息确定所述奶牛的摆头情况、负重情况、弓背情况以及步态对称情况。

图2示出了根据本公开实施例的步态评分的流程图，如图2所示，当所述奶牛摆头且不负重时，所述步态评分为5分；当所述奶牛摆头且负重时，所述步态评分为4分；当所述奶牛不摆头且步态不对称时，所述步态评分为3分；当所述奶牛不摆头、步态对称且弓背时，所述步态评分为2分；当所述奶牛不摆头、步态对称且不弓背时，所述步态评分为1分。

实际生产过程中的奶牛5分制评分遵循表1，步态评分1分的奶牛为正常奶牛，奶牛在站立和行走时背部平直，两趾蹄间没有不均匀负重的迹象，走路时没有头部摆动现象，步态正常；步态评分2的奶牛表现为轻度跛行，行走时几乎正常，奶牛在站立时背部是平直的，而行走时则表现出弓背，走路时没有头部摆动现象，步态可能有轻微的不均匀，部分奶牛表现出短步幅行走，但没有明显的跛行迹象；评分3分的奶牛表现为中度跛行，表现出来单肢或多肢步幅变短，奶牛在站立及行走过程中弓背，行走时头部无摆动迹象；评分4分的跛行奶牛有一条或多条肢蹄是跛行的，站立行走弓背且走路时头摇摆明显；评分5分的严重跛行奶牛在4分的基础上表现出来不愿意在患病肢蹄上负重。

表1奶牛行走状态分值表

根据该体系以及分析得到的结果，根据图2中的评分流程，可以完成奶牛步态5分制评分。

首先判断奶牛是否有摆头现象，如果奶牛在行走过程中出现摆头想象，奶牛的步态评分为4分以上，之后通过是否能负重判断。如何可勉强负重，则为4分，如果一只牛蹄不能着地，则为5分。如果奶牛没有出现摆头现象，则通过步态的对称性判断，如果步态不对称，则为3分，最后，通过是否弓背判断，如果出现弓背则为2分，否则则为1分。

进一步地，以所述奶牛的摆头情况来表征所述奶牛的跛行状态，(1)以奶牛头部与奶牛颈部末端连线的长短变化来反应所述奶牛的摆头情况；(2)以所述奶牛脊椎的弧度来表征所述奶牛的弓背情况，以胸椎第一关节、腰椎第一关节、尾椎的连线夹角来表征所述奶牛脊椎的弧度；(3)通过对所述奶牛的步态、步长、步频进行分析来确定所述奶牛的步态对称情况；(4)以所述奶牛的跛行状态来确定所述奶牛的负重情况。

(1)奶牛的摆头情况

奶牛的摆头情况主要存在于跛行及严重跛行奶牛中，由于一只或多只蹄无法受力，造成行走过程中头部的晃动。奶牛的摆头情况最明显的特征为在行走过程中牛头部有节奏的上下晃动，可以通过对牛头部的运动轨迹进行分析。在奶牛行走过程中，头部的运动可分为x轴水平向前运动以及y轴上的上下运动，在x轴上的运动轨迹呈现直线，无法准确判断出奶牛头部的运动状态，在y轴上的运动轨迹可以近似有规律的波形，在奶牛的正常行走过程中，牛头部的高度也会有微小的上下运动轨迹，因此也无法通过牛头部在y轴上的运动轨迹判断。

此外，还可以通过奶牛头骨与颈椎末端连线的长短变化来反映出奶牛摆头情况。将奶牛头骨与颈椎末端连线的长度定义为两点间的欧式距离，计算方法如公式1所示。

其中x_h与y_h表示头部的x、y坐标，x_n与y_n表示颈椎的x、y坐标。通过对得到的距离分析可以发现，正常奶牛在行走过程中的距离不会随奶牛的行走而发生大幅度的变化，而跛行奶牛则在行走过程中距离随行走发生规律性的变化，且变化幅度较大，通过时间序列可以预测与分析奶牛Dis的变化趋势。

定义帧索引为y，距离Dis为x，使用最小二乘法求回归方程：

正常奶牛在行走过程中距离较为稳定，变化幅度不大，得到的趋势线较平缓，即计算得到的a值趋近于0，而跛行奶牛在行走过程中距离变化较大，呈增大的趋势，计算得到的a值较大，设定阈值

a值大于阈值

判定存在摆头的情况，反之则不存在摆头的情况。

(2)奶牛的弓背情况

奶牛弓背情况通过颈椎弧度来体现，将脊椎弧度定义为胸椎第一节、腰椎第一节与尾椎三点间连线夹角，夹角角度θ的余弦值可通过公式(4)求得；

其中，x_n与y_n表示胸椎的x、y坐标，x_b与y_b表示腰椎的x、y坐标，x_t与y_t表示尾椎的x、y坐标，通过夹角的余弦值可以得到夹角的角度，图3a为正常奶牛在行走过程中脊椎弧度变化情况的示意图，图3b为跛行奶牛在行走过程中脊椎弧度变化情况的示意图。图中横坐标为帧索引，纵坐标为脊椎弧度，可以看出脊椎弧度随奶牛的行走而时刻变化，正常奶牛脊椎弧度变化相对较小，且弧度较大，而跛行奶牛的脊椎弧度变化较大，且弧度低于正常奶牛。

(3)奶牛的步态对称情况

奶牛的运动情况包括奶牛的步幅、步态、步频三种特征。正常奶牛在行走过程中，脚步顺序为LH-LF-RH-RF(其中L，R，H，F分别表示左，右，后和前)，步幅较大，步频稳定且较快，而跛行奶牛在行走过程中会发生不同程度的改变，例如某一只蹄步幅变小、步频变缓。通过对奶牛的蹄部运动轨迹提取，如图4所示。

该图片是奶牛蹄部的x值与帧索引的关系图，图中横坐标为帧索引序列，纵轴为像素值，RBF、LBF、RFF与LFF分别表示奶牛的右后脚、左后脚、右前脚与左前角。

(一)、奶牛的步态分析

从图4中可以看出，奶牛在行走过程中x坐标关于帧索引的曲线近似为阶梯波，以图中灰色线条为例，该线条表示奶牛的左后腿在运动过程中的运动轨迹，图中的每一次下降沿表示奶牛向前走了一步，图中共有四个下降沿，表示奶牛在该段视频中走了四步，轨迹平直部分表示奶牛在牛走过程中，该只牛蹄处于着地阶段，当前阶段牛蹄未发生位移变化。通过四个牛蹄的下降沿的时间差可以判断奶牛的在行走过程的脚步序列。

首先，寻找图中第一个出现的第一个下降沿，出现的第一个下降沿为灰色线条的下降沿，为左后蹄，紧随其后的第二个下降沿为左前蹄，之后为右后蹄，最后为右前蹄，可以得到奶牛一次运动运动过程中的脚步序列为左后-左前-右后-右前，与奶牛正常行走序列相吻合，可以判断奶牛在行走过程中脚步序列正常。

(二)、奶牛的步长分析

奶牛的步长定义为一只蹄在每行走一步所产生的距离，在图中可等于一个下降沿到下一个下降沿的像素差值，计算公式见公式5，像素差值dis等于上一个区间的像素平均值减去下一个区间内像素的平均值。

其中x_i为上一周期中每一帧的像素值，y_i为下一周期中每一帧的像素值，n、m分别为对应周期中的帧。正常奶牛在行走过程中，每一只蹄的行走步长一致，而跛行奶牛在行走过程中出现跛行的腿步幅变短，计算奶牛每一只蹄在整个行走过程中的步长和，计算在行走过程中的平均值：

其中disLH、disLF、disRH、disRF分别代表在周期内行走的步长。之后，计算平均步长最短的蹄与avg_dis进行比较，如果差值小于阈值Φ，则不存在跛行，如果大于阈值Φ，则存在跛行的风险，计算见公式(7)。

(三)、奶牛的步频分析

奶牛的步长时间定义为在奶牛每走一步所需的时间间隔，计算如下：

t_i＝(avgt_i+1-avgt_i)×fps i＝1,…,m (8)

其中，avgt_i+1为下一周期中奶牛蹄从抬起到落下的平均帧索引avgt_i为当前周期奶牛牛蹄从抬起到落下的平均帧索引，通过帧索引的差值乘以视频的帧速率，即可得到奶牛从抬脚到一次抬脚的时间。如果奶牛行走正常，奶牛在行走过程中触底果断，表现出来移动速度快且干脆，如果奶牛在移动过程中步速较缓，可能存在跛行的风险，通过设定阈值，步速如果低于阈值即判定存在跛行风险。

(4)奶牛的负重情况。

严重跛行的奶牛在行走过程中表现出来与其他奶牛不同的是不愿意行走，喜欢静卧，在行走过程中由于蹄部严重问题而导致无法负重着地，反映在数据上就是跛行的脚的y坐标的平均值在要高于其他正常脚的y坐标的平均值。详细计算过程如下：

公式(9)中，n为视频中的帧数，y_i为每一帧中的y坐标值，分别计算奶牛四只蹄的y坐标的平均值。之后，取avg值最小的记为miny，除miny外，计算其他三只蹄的avg值的平均值avgy，见公式(10)：

用平均值avg_y减去min_y的得到值m，如果m的值小于阈值Φ，可以确定奶牛四只蹄均可以着地，反之则存在一只蹄不可以着地。

本公开第二方面提供一种基于机器视觉的奶牛步态评分系统，所述系统包括：

图像采集单元，被配置为，利用图像采集装置采集奶牛在指定区域内的行走视频；

特征提取单元，被配置为，从所述行走视频中提取出所述奶牛的关键部位的特征点，所述关键部位包含头部、颈部、背部、尾部、胫骨、膝盖、蹄部；

特征标注单元，被配置为，对所述关键部位的特征点进行标注，标注信息包括所述关键部位的名称、所述特征点的坐标、所述特征点的置信度；

步态评分单元，被配置为，基于所述关键部位的特征点和所述标注信息确定所述奶牛的步态评分。

进一步地，所述指定区域的路面具有第一数值的坚硬度和第二数值的防滑度，使得所述奶牛在行走过程中表现出正常步态，所述正常步态为不包括摆头、弓背、跛行的步态。

进一步地，所述特征提取单元具体被配置为，将从所述行走视频中提取出的所述奶牛的关键部位的特征点分为训练集和测试集，所述训练集用于训练特征提取模型，所述测试集用于测试经训练的特征提取模型，使得经测试的特征提取模型的特征提取准确度达到第三数值，以利用所述特征提取准确度达到所述第三数值特征提取模型从所述行走视频中提取出所述奶牛的关键部位的特征点。

进一步地，所述步态评分单元具体被配置为，以如下方式确定所述奶牛的步态评分：

通过所述关键部位的特征点和所述标注信息确定所述奶牛的摆头情况、负重情况、弓背情况以及步态对称情况；

当所述奶牛摆头且不负重时，所述步态评分为5分；

当所述奶牛摆头且负重时，所述步态评分为4分；

当所述奶牛不摆头且步态不对称时，所述步态评分为3分；

当所述奶牛不摆头、步态对称且弓背时，所述步态评分为2分；

当所述奶牛不摆头、步态对称且不弓背时，所述步态评分为1分。

进一步地，以所述奶牛的摆头情况来表征所述奶牛的跛行状态，以奶牛头部与奶牛颈部末端连线的长短变化来反应所述奶牛的摆头情况；

以所述奶牛脊椎的弧度来表征所述奶牛的弓背情况，以胸椎第一关节、腰椎第一关节、尾椎的连线夹角来表征所述奶牛脊椎的弧度；

通过对所述奶牛的步态、步长、步频进行分析来确定所述奶牛的步态对称情况；

以所述奶牛的跛行状态来确定所述奶牛的负重情况。

综上，本公开提供的技术方案对奶牛的弓背、摆头、步态特征进行综合分析，涵盖人工分析中的绝大部分特征点；并将奶牛的摆头情况转换为奶牛的头颈部连线长度变化趋势；同时将奶牛在三维空间的运动拆分为为二维空间内的x坐标与时间t的关系和y坐标与时间t的关系进行分析，更直观的分析奶牛在运动过程中的轨迹情况；同时使用可见光监控视频，对奶牛在行走中的特征进行采集、分析，实现了奶牛的步态5分制评分。本公开提供的技术方案使用摄像头实现奶牛的5分制评分，节约成本的同时更全面的分析奶牛可能存在的问题；进一步兼顾奶牛的摆头、弓背、步态分析，与人工评分流程相一致，即能给出评分，同时也能够提供评分依据。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。虽然以上结合附图描述了本发明的具体实施方式，但是本领域普通技术人员应当理解，这些仅是举例说明，可以对这些实施方式做出多种变形或修改，而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。

Claims (10)

1.一种基于机器视觉的奶牛步态评分方法，其特征在于，所述方法包括：

步骤S1、利用图像采集装置采集奶牛在指定区域内的行走视频；

步骤S2、从所述行走视频中提取出所述奶牛的关键部位的特征点，所述关键部位包含头部、颈部、背部、尾部、胫骨、膝盖、蹄部；

步骤S3、对所述关键部位的特征点进行标注，标注信息包括所述关键部位的名称、所述特征点的坐标、所述特征点的置信度；

步骤S4、基于所述关键部位的特征点和所述标注信息确定所述奶牛的步态评分。

2.根据权利要求1所述的一种基于机器视觉的奶牛步态评分方法，其特征在于，所述指定区域的路面具有第一数值的坚硬度和第二数值的防滑度，使得所述奶牛在行走过程中表现出正常步态，所述正常步态为不包括摆头、弓背、跛行的步态。

3.根据权利要求2所述的一种基于机器视觉的奶牛步态评分方法，其特征在于，在所述步骤S2中，将从所述行走视频中提取出的所述奶牛的关键部位的特征点分为训练集和测试集，所述训练集用于训练特征提取模型，所述测试集用于测试经训练的特征提取模型，使得经测试的特征提取模型的特征提取准确度达到第三数值，以利用所述特征提取准确度达到所述第三数值特征提取模型从所述行走视频中提取出所述奶牛的关键部位的特征点。

4.根据权利要求3所述的一种基于机器视觉的奶牛步态评分方法，其特征在于，在所述步骤S4中，确定所述奶牛的步态评分具体包括：

通过所述关键部位的特征点和所述标注信息确定所述奶牛的摆头情况、负重情况、弓背情况以及步态对称情况；

当所述奶牛摆头且不负重时，所述步态评分为5分；

当所述奶牛摆头且负重时，所述步态评分为4分；

当所述奶牛不摆头且步态不对称时，所述步态评分为3分；

当所述奶牛不摆头、步态对称且弓背时，所述步态评分为2分；

当所述奶牛不摆头、步态对称且不弓背时，所述步态评分为1分。

5.根据权利要求4所述的一种基于机器视觉的奶牛步态评分方法，其特征在于：

以所述奶牛的摆头情况来表征所述奶牛的跛行状态，以奶牛头部与奶牛颈部末端连线的长短变化来反应所述奶牛的摆头情况；

以所述奶牛脊椎的弧度来表征所述奶牛的弓背情况，以胸椎第一关节、腰椎第一关节、尾椎的连线夹角来表征所述奶牛脊椎的弧度；

通过对所述奶牛的步态、步长、步频进行分析来确定所述奶牛的步态对称情况；

以所述奶牛的跛行状态来确定所述奶牛的负重情况。

6.一种基于机器视觉的奶牛步态评分系统，其特征在于，所述系统包括：

图像采集单元，被配置为，利用图像采集装置采集奶牛在指定区域内的行走视频；

特征提取单元，被配置为，从所述行走视频中提取出所述奶牛的关键部位的特征点，所述关键部位包含头部、颈部、背部、尾部、胫骨、膝盖、蹄部；

特征标注单元，被配置为，对所述关键部位的特征点进行标注，标注信息包括所述关键部位的名称、所述特征点的坐标、所述特征点的置信度；

步态评分单元，被配置为，基于所述关键部位的特征点和所述标注信息确定所述奶牛的步态评分。

7.根据权利要求6所述的一种基于机器视觉的奶牛步态评分系统，其特征在于，所述指定区域的路面具有第一数值的坚硬度和第二数值的防滑度，使得所述奶牛在行走过程中表现出正常步态，所述正常步态为不包括摆头、弓背、跛行的步态。

8.根据权利要求7所述的一种基于机器视觉的奶牛步态评分系统，其特征在于，所述特征提取单元具体被配置为，将从所述行走视频中提取出的所述奶牛的关键部位的特征点分为训练集和测试集，所述训练集用于训练特征提取模型，所述测试集用于测试经训练的特征提取模型，使得经测试的特征提取模型的特征提取准确度达到第三数值，以利用所述特征提取准确度达到所述第三数值特征提取模型从所述行走视频中提取出所述奶牛的关键部位的特征点。

9.根据权利要求8所述的一种基于机器视觉的奶牛步态评分系统，其特征在于，所述步态评分单元具体被配置为，以如下方式确定所述奶牛的步态评分：

通过所述关键部位的特征点和所述标注信息确定所述奶牛的摆头情况、负重情况、弓背情况以及步态对称情况；

当所述奶牛摆头且不负重时，所述步态评分为5分；

当所述奶牛摆头且负重时，所述步态评分为4分；

当所述奶牛不摆头且步态不对称时，所述步态评分为3分；

当所述奶牛不摆头、步态对称且弓背时，所述步态评分为2分；

当所述奶牛不摆头、步态对称且不弓背时，所述步态评分为1分。

10.根据权利要求9所述的一种基于机器视觉的奶牛步态评分系统，其特征在于：

以所述奶牛的摆头情况来表征所述奶牛的跛行状态，以奶牛头部与奶牛颈部末端连线的长短变化来反应所述奶牛的摆头情况；

以所述奶牛脊椎的弧度来表征所述奶牛的弓背情况，以胸椎第一关节、腰椎第一关节、尾椎的连线夹角来表征所述奶牛脊椎的弧度；

通过对所述奶牛的步态、步长、步频进行分析来确定所述奶牛的步态对称情况；

以所述奶牛的跛行状态来确定所述奶牛的负重情况。

Images