CN115294181B - 基于两阶段关键点定位的奶牛体型评定指标测量方法 - Google Patents

基于两阶段关键点定位的奶牛体型评定指标测量方法 Download PDF

Info

Publication number
CN115294181B
CN115294181B CN202210995052.1A CN202210995052A CN115294181B CN 115294181 B CN115294181 B CN 115294181B CN 202210995052 A CN202210995052 A CN 202210995052A CN 115294181 B CN115294181 B CN 115294181B
Authority
CN
China
Prior art keywords
body type
type key
point
image data
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210995052.1A
Other languages
English (en)
Other versions
CN115294181A (zh
Inventor
戴百生
沈维政
王鑫杰
梁晨
郭金彦
孙雨坤
董奥
熊本海
张逸轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Agricultural University
Original Assignee
Northeast Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Agricultural University filed Critical Northeast Agricultural University
Priority to CN202210995052.1A priority Critical patent/CN115294181B/zh
Publication of CN115294181A publication Critical patent/CN115294181A/zh
Application granted granted Critical
Publication of CN115294181B publication Critical patent/CN115294181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于两阶段关键点定位的奶牛体型评定指标测量方法，包括以下步骤：采集奶牛背部深度图像数据，对深度图像数据进行预处理，获得目标深度图像数据；基于目标深度图像数据，构建体型关键区域检测模型，获得体型关键区域；基于体型关键区域，构建三维点云模型，获得体型关键区域的点云数据；基于点云数据，采用z轴最值定位法、曲率定位法获取体型关键点；基于体型关键点间的相对距离，获得体型评定指标；基于所述z轴最值定位法、曲率定位法对体型评定指标自动测量，获得测量结果；通过对测量结果对比分析，获得目标测量方法。本发明可在实际养殖环境下实现奶牛体型评定指标的精准测量，对生产实际具有一定的现实意义。

Description

基于两阶段关键点定位的奶牛体型评定指标测量方法
技术领域
本发明属于评定指标测量领域，特别是涉及基于两阶段关键点定位的奶牛体型评定指标测量方法。
背景技术
奶牛体型外貌可以直观反映出奶牛健康水平与发育状况，奶牛体型评定是以量化的方式对奶牛体型指标进行客观公正的评估，对于奶牛遗传育种优化及精细化管理具有重要的实际意义。传统的奶牛体型评定方法主要利用皮尺、测杖、半圆仪等工具对指标进行手动测量，费时费力且易受主观因素影响，此外这种接触式测量方法会引起奶牛应激反应，降低奶牛健康福利。
随着计算机视觉技术的发展以及智慧牧场概念的提出，已有部分学者采用二维图像数据对奶牛进行非接触式体型评定指标测量工作。闫震等通过模板匹配方法将奶牛图像与包含关键点的模板进行匹配来进行体型关键点定位，进而完成体型评定指标的测量。但此类方法对奶牛的位姿有一定的要求，且图像质量严重影响着测量值的准确度。然而，对于现实中复杂环境中的三维物体，仅使用二维信息对三维目标进行表征，会不可避免的造成信息损失。
近年来，深度相机等三维传感器得到进一步发展，使得高质量的点云数据更易于获得，在基于点云数据对家畜进行体型指标测量方面，国内外已有较多研究，并取得了一定的进展。Kamchen等验证了深度相机在奶牛体型指标测量方向的潜力，并通过手动标注关键点的方式完成了奶牛的体型指标测量。Pezzuolo等使用多个Kinect深度相机，从不同角度近距离获取奶牛局部点云数据，并使用SPIP软件手工测得奶牛腰角宽、体长、体高、胸围、背部坡度等体型指标信息。但这种交互式的定位方法降低了体型指标测量的自动化程度。牛金玉等使用TOF深度相机采集奶牛点云数据，在对奶牛躯体进行分割后，根据奶牛主要身体几何特征定位体型关键点对相关指标进行测量。赵新强等使用结构光深度相机采集奶牛RGB-D数据，在奶牛目标区域内进行角点检测来定位相关体型关键点，进而测量出奶牛相关指标。然而此类直接对奶牛整体区域进行体型关键点的自动定位方法，容易受到奶牛行走过程中背部结构特征变化影响，从而产生较大误差。
发明内容
针对当前奶牛体型评定存在的自动化程度不高以及体型关键点定位误差较大等问题，为实现对奶牛体型评定指标高效且精准的非接触式自动测量，本发明提出一种基于两阶段关键点定位的奶牛体型评定指标测量方法，该方法首先检测出奶牛体型关键点所在的关键区域，再通过点云模型的局部形状信息实现体型关键点的精准定位，进而完成体型评定指标的自动测量，以解决上述现有技术存在的问题。
为实现上述目的，本发明提供了一种基于两阶段关键点定位的奶牛体型评定指标测量方法，包括以下步骤：
采集奶牛背部的深度图像数据，对所述深度图像数据进行预处理，获得目标深度图像数据；
基于所述目标深度图像数据，构建体型关键区域检测模型，基于所述体型关键区域检测模型，获得若干体型关键区域；
基于所述若干体型关键区域，获取若干体型关键点；
基于z轴最值定位法、曲率定位法对所述若干体型关键点间的距离自动测量，获得测量结果。
优选地，对所述深度图像数据进行预处理的过程包括：
扫描预设深度图像数据，获得目标像素深度值，基于所述目标像素深度值计算一维指数移动平均线，获得目标平滑量，根据所述目标平滑量，对所述深度图像数据进行平滑处理；
采用左侧有效像素对所述深度图像数据进行空间域的孔洞填充；
获取所述深度图像数据在时间域上的指数滑动平均，基于所述指数滑动平均对所述深度图像数据进行时间域的孔洞填充。
优选地，基于目标深度图像数据，构建体型关键区域检测模型的过程包括：
所述目标深度图像数据包括训练集、测试集；预设体型关键区域检测模型的衰减系数、预热学习率、预热学习率动量、余弦退火超参数，将所述训练集输入到预设的体型关键区域检测模型中进行迭代，获得收敛后的体型关键区域检测模型；将所述测试集输入到收敛后的体型关键区域检测模型中，获得体型关键区域。
优选地，基于所述体型关键区域检测模型，获得体型关键区域的过程包括：
构建体型关键区域检测网络架构，所述网络架构包括输入端、Backbone网络、Neck网络、输出端；所述Backbone网络以Focus结构层作为基准网络，将所述目标深度图像数据传递给Focus结构层，经过切割处理，获得特征图；将所述特征图输入到所述Neck网络中，经过卷积操作，获得目标特征图；
对所述目标特征图进行处理，获得所述体型关键区域。
优选地，获取体型关键点之前还包括：构建三维点云模型，基于所述三维点云模型，获得所述体型关键区域的点云数据；对所述点云数据中的背景数据、离群点进行滤除，获得目标点云数据。
优选地，获取体型关键点的过程包括：
基于目标点云数据，获取第一类体型关键点、第二类体型关键点；
根据第一类体型关键点的类型名称，获得对应的第一类体型关键区域；基于所述第一类体型关键区域，获得z轴坐标值最大的点；所述z轴坐标值最大的点即为所述第一类体型关键点；
根据第二类体型关键点的类型名称，获得对应的第二类体型关键区域；基于所述第二类体型关键区域，获得平均曲率最大点、高斯曲率最大点；所述平均曲率最大点、高斯曲率最大点即为所述第二类体型关键点。
优选地，基于所述z轴最值定位法、曲率定位法对所述体型评定指标自动测量，获得测量结果的过程包括：
所述曲率定位法包括：高斯曲率定位法、平均曲率定位法；
基于高斯曲率定位法、z轴最值定位法对所述体型评定指标进行自动测量，获得第一测量结果；
基于平均曲率定位法、z轴最值定位法对所述体型评定指标进行自动测量，获得第二测量结果；
通过对所述第一测量结果、第二测量结果进行对比分析，获得目标测量结果。本发明的技术效果为：
(1)本发明可在实际养殖环境下实现奶牛体型评定指标的精准测量，对生产实际具有一定的现实意义。
(2)本发明能够在保证自动化的前提下，对奶牛的5个评定指标进行自动测量，大大提高了测量的精度。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例中的深度图像滤波效果图；
图2为本发明实施例中的体型关键区域检测网络结构图；
图3为本发明实施例中的体型关键区域检测效果图；
图4为本发明实施例中的体型关键区域点云数据效果图；
图5为本发明实施例中的体型关键点定位示例图；
图6为本发明实施例中的体型关键点定位示例图各指标真实值与预测值对比图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
实施例一
本实施例中提供一种基于两阶段关键点定位的奶牛体型评定指标测量方法，包括：
数据的采集与处理
数据采集的过程包括：
本实施例于2021年9月在黑龙江省大庆市林甸县晟康牧业有限公司的奶牛养殖场，采用Intel RealSense D435深度相机采集荷斯坦奶牛的深度图像数据。深度图像数据的分辨率为848×480，帧率为30f/s。深度相机连接到PC端，以Visual Studio 2017为开发平台并基于RealSense SDK 2.0进行采集。考虑奶牛背部体长、肩宽、胸宽、腹宽、腰宽五项体型评定指标可通过计算机视觉技术测量，本实施例采集奶牛背部图像作为本实施例研究对象，进行体型评定指标的自动测量工作。将RealSense D435深度相机架设在称量奶牛的体重秤(长约2.5m，宽约0.9m，高约1.7m)上方2.5m处，依次采集单头奶牛的背部图像。本次试验共采集了49头体型不一的奶牛背部深度图像序列，整理得到共计4421幅图像。
数据的处理过程包括：深度图像滤波处理、体型关键区域检测、体型关键点定位。
为了能够实现对奶牛体型评定指标的自动测量，本实施例首先对采集到的深度图像序列进行滤波以得到质量更高的深度图像数据，接下来进行体型关键区域检测，获取到奶牛体型关键点所在的局部区域并重建该区域的三维点云，进而利用空间结构信息定位体型关键点，最终完成体型评定指标计算。
利用深度图像滤波的处理过程包括：
由于采集到的深度图像数据存在随机噪声，且红外光束在直射到奶牛个体一些部位皮毛表面时存在镜面反射现象造成该部位的深度值产生缺失，影响后续的体型评定指标测量。为了提高深度图像数据质量，本实施例利用RealSense SDK 2.0提供的边缘平滑滤波器和孔洞填充滤波器对深度图像数据进行处理。
首先采用边缘平滑滤波器对深度噪声进行平滑，并保持较为合理且稳定的边缘。该滤波器通过扫描x轴和y轴的目标像素深度值并计算一维指数移动平均线(EMA)以确定合适的平滑量。接下来采用左侧有效像素(Left Valid Pixel)进行空间域的孔洞填充；最后采用与边缘平滑滤波器相同类型的指数移动平均线(EMA)滤波器，对深度图像中的每个像素在时间域上应用指数滑动平均来填充孔洞。其中，左侧有效像素是指Intel realsense的立体算法被引用到左成像器，所以本实施例在填充孔洞的时候采用左侧的有效像素深度的具体值来预测孔洞处的深度值。
经过边缘平滑滤波器、孔洞填充滤波器后的图像数据滤波效果如图1所示。奶牛深度图像数据得到修复，大部分边缘噪声和孔洞被消除。
体型关键区域检测的过程包括：体型关键区域检测、体型关键点定位、体型评定指标测量。
由于奶牛躯干部位的不同类型测量点之间常常有不规则的凸起部分，直接对奶牛整体区域定位奶牛体型关键点易受到较大干扰，因此本实施例提出一种两阶段的体型关键区域体型关键点定位方法来实现对奶牛体型关键点的精准定位。
进一步的，体型关键区域检测的过程包括：
考虑到奶牛养殖场实际环境较复杂且奶牛个体表征因素的差异较大，对体型关键区域的自动检测工作对检测精度与速度均具有较高要求，在检测过程中同时输出检测类别的锚框与概率，适合本研究的任务场景，故本实施例基于YOLO v5模型对体型关键区域进行自动检测。YOLO v5的网络结构如图2所示。其网络架构可分为四个部分：输入端、Backbone网络、Neck网络和输出端。其中Backbone网络以Focus结构作为基准网络，608×608×1大小的图片传递给Focus层，使用切片(slice)切割成320×320×12的特征图，经过concat以及一次卷积(CBL)转化为320×320×64的特征图。Neck网络可以利用backbone提取的特征来进一步提取更复杂的特征并传递到输出端。其中concat在Neck层中，作用是将切割后的切片进行连接。
基于YOLO v5的体型关键区域检测模型的检测效果如图3所示。由图3可知本实施例提出的检测模型能够精准检测出奶牛的体型关键区域。
进一步的，体型关键点定位的过程包括：
在基于上述方法检测出奶牛体型关键区域后，利用相机内参将关键区域重建为三维点云模型。图4为各关键区域的三维点云模型效果图。图中(1)至(10)分别为奶牛的鬐甲点、尾根点、左肩宽点、右肩宽点、左胸宽点、右胸宽点、左腹宽点、右腹宽点、左腰宽点、右腰宽点所在的关键区域。
根据上述方法检测到的体型关键区域中包含有背景数据及离群点，本实施例使用点云滤波方法对体型关键区域点云数据进行处理，以避免对体型关键点定位工作造成影响。
本实施例所获取的奶牛图像数据中的背景主要来自于地面，因此采用基于直通滤波法的背景点云去除方法，去除三维点云模型中距离坐标原点o的距离大于1.6米的点。然后采用基于统计滤波法的离群点去除方法对体型关键区域中的离群点进行去除，滤除掉体型关键区域中超出该区域平均欧氏距离5个标准差以上的所有点，从而完成离群点的去除工作。
本实施例在从体型关键区域中实现体型关键点定位时分别选用不同的策略：对于鬐甲点与尾根点选用基于z轴最值的方法；对于左肩宽点、右肩宽点、左胸宽点、右胸宽点、左腹宽点、右腹宽点、左腰宽点与右腰宽点选用基于曲率的定位方法。具体的，对左肩宽点、右肩宽点、左胸宽点、右胸宽点、左腹宽点、右腹宽点、左腰宽点与右腰宽点都采用高斯曲率和平均曲率分别进行输出，然后根据输出的结果来计算体型评定指标，从而比较高斯曲率和平均曲率哪种精度更高。
基于最值点的方法是利用点云数据中z轴表征与深度摄像头所在水平平面垂直的直线这一特性，首先根据关键点类型名称定位该点所在的体型关键区域，然后在该体型关键区域内遍历所有点并输出z轴坐标值最大的点，该点即认为是体型关键点。
基于曲率的方法是利用空间几何变换中物体的曲率不随物体刚性变换而发生变化这一固有的特性，对某一点所在的局部曲面的弯曲程度进行表示。本实施例采用平均曲率和高斯曲率。其中平均曲率指的是某一点的局部曲面在该点处的平均弯曲程度；高斯曲率指的是点云表面某一点总的弯曲程度，计算公式分别如式(1)、式(2)所示。
Figure BDA0003805187920000091
Figure BDA0003805187920000092
式中k1为该点的最大主曲率，k2为该点的最小主曲率。L、N、M、E、F、G分别为二次参数曲面逼近法中曲面在该点的偏微分值。
体型关键点的定位示例如图5所示，图5右部中将平均曲率最大点输出结果用六角形点表示，高斯曲率最大点输出结果用圆形点表示，z轴最值最大点输出结果用正方形点表示。
体型评定指标测量的过程包括：
在准确获取到奶牛体型关键点后，各项指标的测量工作即可转化为在三维点云模型上对各体型关键点间的距离求解。首先输出各个奶牛体型关键点的坐标值，再求取每对体型关键点之间的欧式距离作为体型评定指标的预测结果。对于测试集中包含的15头奶牛，本实施例将基于高斯曲率和z轴最值结合的策略作为策略一，基于平均曲率和z轴最值结合的策略作为策略二，采用两种策略分别进行体型评定指标自动测量，得到测量结果并进行对比分析，从而确定出精度更高的测量方法。
基于测量结果进行分析的过程包括：体型关键区域检测模型参数与训练、体型关键区域检测结果与分析、体型评定指标测量结果与分析。
进一步的，体型关键区域检测模型参数与训练的过程包括：
为训练体型关键区域检测模型，首先将4421张奶牛深度图像数据按照8：2的比例划分训练集与测试集，其中训练集包括34头奶牛共3572帧图像，测试集包括15头奶牛共849帧图像。
在模型训练时以32幅图像作为一个批次，衰减系数设定为0.0005。预热学习率为0.1，预热学习率动量为0.8，预热3轮次，余弦退火超参数设为0.1。大约在260次迭代后，模型收敛。
进一步的，体型关键区域检测结果与分析的过程包括：
基于YOLO v5的体型关键区域检测模型得到的检测结果数据如表1所示，结果显示mAP最终都能达到97.5％左右，说明关键区域检测模型的训练结果良好，且检测速度达到60f/s，能满足日常生产所需。值得注意的是右胸宽点精度略低于其他部位，原因是在采集奶牛图像时某一天深度摄像头设置的角度存在偏差，当天采集的深度图像中奶牛右胸宽点存在被栏杆遮挡的情况，导致该点的精度低于其他部位。但总体而言本实施例提出的体型关键区域检测模型能够精准确定出奶牛的关键区域，从而为下一步的体型关键点定位工作打下基础。
表1
Figure BDA0003805187920000111
进一步的，体型评定指标测量结果与分析的过程包括：
基于两阶段关键点定位算法得到的15头奶牛体型评定指标预测结果如表2所示。其中最大误差为5.68cm，最小误差为0cm，由结果可知产生误差较大的预测值是由于体型关键区域检测结果发生偏差，导致体型关键点定位误差较大。
表2
Figure BDA0003805187920000121
Figure BDA0003805187920000131
本实施例基于策略一和策略二对奶牛的5个体型评定指标计算出的平均绝对误差(MAE)和均方根误差(RMSE)如表3所示。结果显示对于腰宽指标的预测值误差较小，而对于肩宽和腹宽指标的预测值误差较大，原因是肩部和腹部的离散点干扰较多。
表3
Figure BDA0003805187920000132
本实施例对体型评定指标进行自动测量得到的预测值与人工测量的真实值之间的相关性如图6所示。
由图6可知依据本实施例所提出的奶牛体型评定指标自动测量方法获得的预测值与人工测量获得的真实值之间具有良好的相关性，决定系数R2最大为0.9394，最小为0.8573，基于策略一的决定系数由大到小的顺序依次为腹宽、体长、肩宽、腰宽、胸宽，基于策略二的决定系数由大到小的顺序依次为腹宽、肩宽、体长、胸宽、腰宽。基于策略二得出的测量值与真实值之间的决定系数更高，且基于策略一和策略二测得的预测值相差较小，故选择输出平均曲率最大值点与z轴最大值点相结合的方法作为奶牛体型关键点定位策略可更为精确地进行奶牛体型评定指标自动测量。
结果的获取过程包括：
为解决奶牛部分体型评定指标测量的问题，本实施例采用目标检测模型获取到体型关键点所在的关键区域，并分别采用基于高斯曲率和平均曲率的方法输出体型关键点，进而得到体型评定指标预测值。实验表明，基于平均曲率可取得更好的测量效果。但对于深度图像数据中存在的信息缺失问题可以考虑引入RGB图像信息，结合深度学习算法进行更加精细的孔洞填充。此外，在奶牛个体点云与栏杆等背景点云难以有效分割时会造成测量精度下降，实验结果显示针对奶牛体型关键区域点云的自动化处理方法有待进一步研究。相较于其他相关研究而言，本实施例方法得到的预测值在保证自动化的前提下可以得到较高的精度。
针对奶牛体型评定过程中自动化程度不高、体型评定指标测量误差较大的问题，本实施例提出了一种基于两阶段关键点定位算法的非接触式奶牛体型评定指标测量方法，实现了对养殖场实际环境中奶牛体型评定指标的准确测量。基于滤波方法可对深度图像序列进行有效的数据恢复；基于YOLO v5的体型关键区域检测算法可精准检测体型关键区域，mAP达到97.5％；基于平均曲率与z轴最值的体型关键点定位方法可准确定位自然姿态下的多个体型评定关键点，在对奶牛的5个体型评定指标进行自动测量时测量值的平均绝对误差和均方根误差分别取得了1.55cm与1.78cm，决定系数R2达到0.9394。结果证明本实施例方法能够为奶牛体型评定提供新的解决方法，给奶牛跛行行为检测和体重预测等领域提供了思路。本实施例针对传统奶牛体型评定指标测量方法受主观影响大、自动化程度不高以及体型关键点定位存在误差等问题，提出了一种基于两阶段关键点定位算法的奶牛体型评定指标自动测量方法。对于采集到的奶牛背部深度图像序列，首先基于滤波方法进行边缘平滑与缺失区域修补；接下来采用基于YOLO v5的体型关键区域检测算法确定体型关键区域并重建相关区域的三维点云；进而通过计算区域点云曲率与z轴最值定位体型关键点；最后依据关键点间相对位置自动测得体型评定指标。实验结果表明本实施例方法可完成俯视视角下的奶牛体长、肩宽、胸宽、腹宽和腰宽指标的精准测量。对于15头奶牛的5个体型评定指标，算法测量值与实测值的平均绝对误差为1.55cm，均方根误差为1.78cm，决定系数R2最大为0.9394。实验证明本实施例方法可在实际养殖环境下实现奶牛体型评定指标的精准测量，对生产实际具有一定的现实意义。本实施例在保证自动化的前提下，对奶牛的5个体型评定指标进行自动测量时测量值的平均绝对误差和均方根误差分别取得了1.55cm与1.78cm，决定系数R2达到0.9394，大大提高了测量的精度。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.基于两阶段关键点定位的奶牛体型评定指标测量方法，其特征在于，包括以下步骤：
采集奶牛背部的深度图像数据，对所述深度图像数据进行预处理，获得目标深度图像数据；
基于所述目标深度图像数据，构建体型关键区域检测模型，基于所述体型关键区域检测模型，获得若干体型关键区域；
基于所述若干体型关键区域，获取若干体型关键点；
基于z轴最值定位法、曲率定位法对所述若干体型关键点间的距离自动测量，获得测量结果；
获取体型关键点的过程包括：
基于目标点云数据，获取第一类体型关键点、第二类体型关键点；
根据第一类体型关键点的类型名称，获得对应的第一类体型关键区域；基于所述第一类体型关键区域，获得z轴坐标值最大的点；所述z轴坐标值最大的点即为所述第一类体型关键点；
根据第二类体型关键点的类型名称，获得对应的第二类体型关键区域；基于所述第二类体型关键区域，获得平均曲率最大点、高斯曲率最大点；所述平均曲率最大点、高斯曲率最大点即为所述第二类体型关键点；
基于所述z轴最值定位法、曲率定位法对所述体型评定指标自动测量，获得测量结果的过程包括：
所述曲率定位法包括：高斯曲率定位法、平均曲率定位法；
基于高斯曲率定位法、z轴最值定位法对所述体型评定指标进行自动测量，获得第一测量结果；
基于平均曲率定位法、z轴最值定位法对所述体型评定指标进行自动测量，获得第二测量结果；
通过对所述第一测量结果、第二测量结果进行对比分析，获得目标测量结果。
2.根据权利要求1所述的基于两阶段关键点定位的奶牛体型评定指标测量方法，其特征在于，
对所述深度图像数据进行预处理的过程包括：
扫描预设深度图像数据，获得目标像素深度值，基于所述目标像素深度值计算一维指数移动平均线，获得目标平滑量，根据所述目标平滑量，对所述深度图像数据进行平滑处理；
采用左侧有效像素对所述深度图像数据进行空间域的孔洞填充；
获取所述深度图像数据在时间域上的指数滑动平均，基于所述指数滑动平均对所述深度图像数据进行时间域的孔洞填充。
3.根据权利要求1所述的基于两阶段关键点定位的奶牛体型评定指标测量方法，其特征在于，
基于目标深度图像数据，构建体型关键区域检测模型的过程包括：
所述目标深度图像数据包括训练集、测试集；预设体型关键区域检测模型的衰减系数、预热学习率、预热学习率动量、余弦退火超参数，将所述训练集输入到预设的体型关键区域检测模型中进行迭代，获得收敛后的体型关键区域检测模型；将所述测试集输入到收敛后的体型关键区域检测模型中，获得体型关键区域。
4.根据权利要求1所述的基于两阶段关键点定位的奶牛体型评定指标测量方法，其特征在于，
基于所述体型关键区域检测模型，获得体型关键区域的过程包括：
构建体型关键区域检测网络架构，所述网络架构包括输入端、Backbone网络、Neck网络、输出端；所述Backbone网络以Focus结构层作为基准网络，将所述目标深度图像数据传递给Focus结构层，经过切割处理，获得特征图；将所述特征图输入到所述Neck网络中，经过卷积操作，获得目标特征图；
对所述目标特征图进行处理，获得所述体型关键区域。
5.根据权利要求1所述的基于两阶段关键点定位的奶牛体型评定指标测量方法，其特征在于，
获取体型关键点之前还包括：构建三维点云模型，基于所述三维点云模型，获得所述体型关键区域的点云数据；对所述点云数据中的背景数据、离群点进行滤除，获得目标点云数据。
CN202210995052.1A 2022-08-18 2022-08-18 基于两阶段关键点定位的奶牛体型评定指标测量方法 Active CN115294181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210995052.1A CN115294181B (zh) 2022-08-18 2022-08-18 基于两阶段关键点定位的奶牛体型评定指标测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210995052.1A CN115294181B (zh) 2022-08-18 2022-08-18 基于两阶段关键点定位的奶牛体型评定指标测量方法

Publications (2)

Publication Number Publication Date
CN115294181A CN115294181A (zh) 2022-11-04
CN115294181B true CN115294181B (zh) 2023-06-30

Family

ID=83830276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210995052.1A Active CN115294181B (zh) 2022-08-18 2022-08-18 基于两阶段关键点定位的奶牛体型评定指标测量方法

Country Status (1)

Country Link
CN (1) CN115294181B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228567A (zh) * 2016-08-26 2016-12-14 西北工业大学 一种基于平均曲率流的脊椎特征点自动识别方法
CN106875377A (zh) * 2016-12-30 2017-06-20 西北工业大学 一种基于高斯曲率流的脊椎特征点自动识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470106B (zh) * 2021-07-14 2022-12-02 河南科技大学 一种无接触式奶牛体尺信息采集方法
CN113920138A (zh) * 2021-10-18 2022-01-11 华北水利水电大学 一种基于rgb-d相机的奶牛体尺检测装置及其检测方法
CN114677322B (zh) * 2021-12-30 2023-04-07 东北农业大学 基于注意力引导点云特征学习的奶牛体况自动评分方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228567A (zh) * 2016-08-26 2016-12-14 西北工业大学 一种基于平均曲率流的脊椎特征点自动识别方法
CN106875377A (zh) * 2016-12-30 2017-06-20 西北工业大学 一种基于高斯曲率流的脊椎特征点自动识别方法

Also Published As

Publication number Publication date
CN115294181A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN106340044B (zh) 摄像机外参自动标定方法及标定装置
CN101512551A (zh) 用于测量动物身高的方法和系统
CN105783786B (zh) 一种基于结构光视觉的零件倒角测量方法与装置
CN109141248A (zh) 基于图像的猪体重测算方法及系统
CN112262408A (zh) 用于从一距离处表征活体标本的方法和装置
US20130070048A1 (en) Formation Apparatus Using Digital Image Correlation
CN111145227B (zh) 一种地下隧道空间多视点云的可迭代整体配准方法
EP1537531A1 (en) Imaging system and method for body condition evaluation
CN113052881A (zh) 提取极点的室内三维点云自动化配准方法
CN109886939A (zh) 基于张量投票的桥梁裂缝检测方法
CN107702663A (zh) 一种基于具有标志点的旋转平台的点云配准方法
EP3353744A1 (en) Image analysis for making animal measurements including 3-d image analysis
CN102657531A (zh) 基于计算机视觉的人体躯干围度测量方法和装置
CN111179335A (zh) 一种基于双目视觉的立木测定方法
CN113470106A (zh) 一种无接触式奶牛体尺信息采集方法
CN112906719A (zh) 基于消费级深度相机的立木因子测量方法
CN113418617A (zh) 一种风电场箱式变压器三维温度场测量与诊断方法
CN116182736A (zh) 基于双视角深度相机的羊只三维体尺参数自动检测装置及检测方法
CN104809688B (zh) 基于仿射变换配准算法的羊体体尺测量方法及系统
CN115294181B (zh) 基于两阶段关键点定位的奶牛体型评定指标测量方法
CN116071417B (zh) 一种基于Azure Kinect的羊只体尺体重获取系统及方法
CN112508890A (zh) 一种基于二级评测模型的奶牛体脂率检测方法
CN109740458B (zh) 一种基于视频处理的体貌特征测量方法及系统
CN116071517A (zh) 多维度信息感知的奶牛体尺参数测量方法及系统
CN113610726B (zh) 一种区域限定的改进三次b样条插值修补方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant