CN112331345B - 一种基于直接评测模型的奶牛体脂率检测方法 - Google Patents

Abstract

本发明属于奶牛体脂检测技术领域，具体涉及一种基于直接评测模型的奶牛体脂率检测方法。该方法首先采集被测奶牛背腹部的深度图像，并构建奶牛背腹部的三维模型，进而定位对奶牛体脂率贡献较大的体脂富积特定区域，然后提取各个体脂富积特定区域的代表性体表结构特征，联合被测奶牛的个体因素和时间参数一并输入至构建的体脂率评测模型中，得到被测奶牛的体脂率。本发明无需对奶牛进行损坏性操作便可得到奶牛的体脂率，实现对奶牛体脂率的无接触检测，提高了奶牛体脂率检测的效率和准确性。

Description

一种基于直接评测模型的奶牛体脂率检测方法

技术领域

本发明属于奶牛体脂检测技术领域，具体涉及一种基于直接评测模型的奶牛体脂率检测方法。

背景技术

体脂含量是评价奶牛营养状态的重要指标，更是决定围产期生产性能及生理健康的关键因素。奶牛饲养过程中，75％的疾病发生在产后1个月内，且每年的经济损失超过6亿美元。因而围产期对奶牛能量负平衡的控制已成为决定奶牛产奶量、繁殖性能、利用年限等生产性能指标最重要的影响因素。奶牛能量负平衡的管理离不开对奶牛体脂含量的准确监测。然而，传统的人工体况评分方法存在耗时长、成本高、主观性强等问题，而现有自动评分系统的研究成果与实际应用相脱节，且精度和可靠性难以满足实际养殖管理的需求。

现有技术中常采用自动评分系统来利用采集的必要信息以对体况进行反向估计和预测，主要为基于“特征提取-模型分析”的评分方法和基于监督学习的“模式识别”方法。前者通过所构建的机器视觉系统来实现奶牛体表几何特征的检测，并以此建立特征值与人工评分值之间的回归模型。但其提取的体况特征仍为体表特定切面中的曲线、角度等平面特征，图像特征参数的有效性和鲁棒性仍需要进一步提高。后者依据所提取奶牛图像的目标区域来建立训练和测试数据集，并采用监督学习算法对数据集或特征进行训练，利用得到的模型对未知奶牛图像进行体况评分。但由于缺乏数理统计分析的支撑，无法对体脂富积过程和机制进行深入研究，难以验证图像信息与体脂含量之间的相关性，因此需对庞大数据集进行训练以寻找图像间的差异。当训练数据量较少时，该方法的精度较低。因此，无论是特征提取建模还是基于图像的监督学习方法，RGB图像都已逐渐退出历史的舞台。

发明内容

本发明提供了一种基于直接评测模型的奶牛体脂率检测方法，解决现有技术中利用RGB图像进行奶牛体脂率检测造成的检测精度低的问题。

为解决上述技术问题，本发明的技术方案包括：

本发明提供了一种基于直接评测模型的奶牛体脂率检测方法，包括如下步骤：

1)采集被测奶牛背腹部的深度图像；

2)利用采集的深度图像，构建奶牛背腹部的三维模型；

3)根据奶牛背腹部的三维模型，定位对奶牛体脂率贡献较大的体脂富积特定区域；

4)提取各个体脂富积特定区域的代表性体表结构特征，所述代表性体表结构特征包括点特征、局部特征和全局特征中的至少一种；

5)获取被测奶牛的个体因素和时间参数；所述个体因素包括体高、体重、泌乳期和胎次中的至少一种，所述时间参数为泌乳天数；

6)将被测奶牛的各个体脂富积特定区域的代表性体表结构特征、个体因素和时间参数输入至构建的体脂率评测模型中，得到被测奶牛的体脂率；所述体脂率评测模型利用已测奶牛的各个体脂富积特定区域的代表性体表结构特征、个体因素和时间参数、以及对应的实测体脂率进行训练得到。

上述技术方案的有益效果为：本发明在构建得到体现各个体脂富积特定区域的代表性体表结构特征、个体因素和时间参数与体脂率之间关系的体脂率评测模型后，结合奶牛背腹部的深度图像便可得到奶牛的体脂率，无需对奶牛进行损坏性操作便可得到奶牛的体脂率，实现对奶牛体脂率的无接触检测，提高了奶牛体脂率检测的效率和准确性。

进一步的，所述体脂率评测模型为BP神经网络模型。

进一步的，所述BP神经网络的隐层的传递函数为tansig函数，所述BP神经网络的输出层的传递函数为purelin函数。

进一步的，所述实测体脂率采用以下方法得到：

对奶牛进行同位素试剂注射，测定奶牛的空体水量EBW和总体水量TBW；

根据下式，计算奶牛的体脂率：

BF＝BW-(TBW+EBP+EBA+GIDM+FEDM)

BFP＝BF/BW

其中，BW为奶牛体重；TBW为奶牛总体水量；EBP为体蛋白质含量，和体骨质量EBA与空体水量EBW呈比例关系；EBA为体骨质量；GIDM为胃肠容纳物干质量；FEDM为胚胎干物质量，未妊娠的奶牛为0。

进一步的，步骤3)中，利用构建的PointNet++网络模型，以根据奶牛背腹部的三维模型定位对奶牛体脂率贡献较大的体脂富积特定区域；所述PointNet++网络模型利用已测奶牛的背腹部的三维模型和已确定的体脂富积特定区域进行训练得到。

进一步的，所述体脂富积特定区域包括背、髋角、臀角和骶角区域中的至少一个区域。

进一步的，所述点特征包括表面法线和曲率中的至少一种，所述局部特征包括3D形状内容描述子、快速点特征直方图、RSD特征和SHOT特征中的至少一种，所述全局特征包括视点特征直方图和GFPFH中的至少一种。

附图说明

图1是本发明的构建“奶牛体脂率评测模型”的整体流程图；

图2是本发明的本发明的奶牛皮下脂肪测量点示意图；

图3是本发明的皮下脂肪富积特性研究的流程图；

图4是本发明的多角度深度相机图像采集系统的示意图；

图5是本发明的奶牛三维模型重构的流程图；

图6是本发明的PointNet++网络模型的构建过程的流程图；

图7是本发明的体脂率评测模型的原理示意图；

图8是本发明的基于直接评测模型的奶牛体脂率检测方法的整体流程图；

具体实施方式

本发明的基本构思为：本发明构建了一个体脂率评测模型(该模型为直接评测模型)，该模型所体现的关系为：各个体脂富积特定区域的代表性体表结构特征、个体因素和时间参数与体脂率的关系。在构建好该体脂率评测模型后，便可利用奶牛的深度图像得到奶牛背腹部的三维模型，利用该三维模型便可提取体脂富积特定区域以及各个体脂富积特定区域的代表性体表结构特征，将这些特征、以及奶牛的个体因素和时间参数均输入至构建的体制评测模型中，便可得到奶牛的体脂率。

下面结合附图，对本发明的一种基于直接评测模型的奶牛体脂率检测方法进行详细说明。

步骤一，构建体脂率评测模型，整个过程如图1所示。具体过程如下：

1、测定奶牛的皮下脂肪厚度和体脂率。

使用便携式兽用B超仪，对奶牛背部区域关键皮下脂肪富积区进行扫描。通过观测B超仪屏幕上的图像，判断奶牛皮肤层以及皮下的浅层筋膜、深层筋膜和肌肉组织。皮下脂肪填充于皮肤与深层筋膜之间，故皮下脂肪厚度为深层筋膜深度值减去奶牛皮肤层的厚度，从而便可得到奶牛不同区域的皮下脂肪厚度。

以泌乳初期未受精奶牛为实验对象，采用同位素(氙)示踪法测定奶牛空体水量(Empty body water，EBW)和总体水量(total body water，TBW)。然后根据下述公式计算奶牛体脂率(Body fat percentage，BFP)：

BF＝BW-(TBW+EBP+EBA+GIDM+FEDM) (1)

BFP＝BF/BW (2)

其中，BW为奶牛体重，kg；TBW为奶牛总体水量，kg；EBP为体蛋白质含量，kg；EBA为体骨质量，kg；GIDM为胃肠容纳物干质量，kg；FEDM为胚胎干物质量，kg。

相关研究已证明，EBP和EBA与EBW呈比例关系，对于泌乳初期的奶牛比例系数分别为3.68和12.9。由于奶牛未妊娠，因此FEDM为0。奶牛在接受同位素试剂注入前停止喂食24小时以上，以排空胃肠容纳物，因此GIDM也为0。

2、皮下脂肪富积特征研究，整个过程如图3所示。

1)确定奶牛分布特征，从而确定对奶牛体脂率贡献程度较高的体脂富积特定区域。

选取体况评分值在2到4之间的奶牛，评分间隔0.25，每个得分下的奶牛有n头(n≥30)。使用手持式超声波成像仪对奶牛的背、腰、尻、臀等重点区域进行扫描，超声波扫描点如图2所示。对超声波图像进行人工检视，按照“1、测定奶牛的皮下脂肪厚度和体脂率”节介绍的方法对奶牛各区域的皮下脂肪厚度和体脂率进行测量。

首先对各区域的皮下脂肪厚度进行方差齐次检验，然后进行单因素方差分析，以判定不同富积区之间皮下脂肪厚度均值是否存在显著差异。分别计算不同富积区皮下脂肪厚度与体脂率之间的Pearson相关系数和距离相关系数，采用最优子集和逐步回归的方法确定奶牛身体各区域的皮下脂肪厚度对奶牛体脂率的贡献程度，从中挑选得到体脂富积特定区域。

2)依据奶牛的三维模型，从而确定各体脂富积特定区域的边界条件(特征)。

基于奶牛骨架的解剖学特性，并结合奶牛超声波图像数据，创建富积区奶牛骨骼以及肌肉、脂肪、皮肤等生物组织的三维模型；根据生物组织物理特性(包括密度、流变特性、黏附特性、拉伸特性等)，建立生物力学模型。结合使用Simpleware和ADINA软件构建高生物仿真度的有限元模型，其中Simpleware用于三维模型的网格划分，生成ADINA结构和流体模型，ADINA用于非线性力学计算和流固耦合求解。通过调节生物组织模型中皮下脂肪的厚度，研究体表皮肤三维曲面的变化规律。使用Meshlab软件对曲面进行分析，计算曲面的基本结构特征，探明反映皮下脂肪厚度的显著性参数和富积区的边界条件。

3、多角度深度图像采集系统的数据采集。

构建如图4所示的多角度深度图像采集系统，设置三个深度相机对奶牛背腹部的主要体脂富积区域进行深度图像的采集。该多角度深度图像采集系统一般设置挤奶厅出口通道处，该通道宽度一次仅容一头奶牛通过。由于相机含有深度传感器(图4中的触发传感器)，因此可依据其深度通道监控前景运动来实现图像的触发收集，也即奶牛移动到比地面距离相机更近的距离时将触发相机进行深度图像采集工作。通过在相邻深度传感器视场内摆放圆锥靶标标定两者局部坐标系的空间变换关系，实现多深度传感器坐标的全局变换与统一。

以多深度传感器的全局标定为例，假定奶牛三维信息获取系统共有N个深度相机且局部坐标系分别为(c₁,c₂,…,c_n)，令局部坐标系c₁作为世界坐标系W、相邻深度传感器局部坐标系的转换关系分别为R_(i+1)i、t_(i+1)i，则有：

其中，(x_c(i+1),y_c(i+1)，z_c(i+1)为传感器i+1的点云坐标在局部坐标系C_i+1下的三维表示；(x_ci,y_ci,z_ci)为传感器i+1的点云坐标经变换后在局部坐标系C_i下的三维表示。

因此，基于上述递推关系可得，任一传感器i测量得到的点云空间坐标经过前面的i-1个层层关联的转换矩阵均可变换得到传感器1的坐标系统，变换方式如下：

将相邻两个深度相机采集的多个不同大小的圆锥靶标深度图像转换为点云数据，使用三维特征点匹配算法计算两个深度相机之间的全局坐标变换矩阵。然后可根据式(4)将同步获取的多视角点云数据变换至同一坐标系下(即指定的世界坐标系)，实现不同来源的奶牛三维点云数据的融合。

4、奶牛三维模型重构，其整体流程如图5所示。

对变换至同一坐标系下的不同视角的点云数据进行两两配准、融合以得到完整、清晰、可靠的奶牛背腹部三维模型。步骤如下：

1)预处理。采用数据清洗技术和符合点云特性的滤波方式剔除点云中的无效点、噪声点、以及离群点，并通过基于点或特征的精简算法实现降采样。

2)粗配准。采用特征提取算法获取特征点，利用其特征向量与随机采样一致性方法筛选特征点对，并完成基于点对的粗配准，得到初始配准参数。

3)精配准。依据初始配准参数结合ICP配准算法实现原始点云的精配准，并以Kd-Tree加速搜索对应点对，提高配准效率。

4)点云融合。采用栅栏法和K-D树法检测配准后点云的重叠区域，并通过删除同名点对和移动最小二乘法实现冗余数据的融合。

5、奶牛的体脂富积特定区域的自动定位。

对于构建的奶牛背腹区域的三维模型，拟使用PointNet++网络来实现关键脂肪富积区的自动定位。PointNet++网络是一种以点云数据为输入的有监督深度学习模型，需构建训练和测试数据库。

1)训练数据获取。使用区域分割方法，从三维模型中提取训练数据。首先，通过人机交互在奶牛三维模型中人工选取区域分割的种子点云。然后，采用基于点曲率、法线等几何特征的区域生长法寻找区域边界，并以Kd-Tree建立点拓扑关系，加快邻域搜索。通过实验测试并结合皮下脂肪的结构特征，确定区域增长的边界条件。最终得到各体脂富积区的局部点云及对应类别的配对数据。

2)PointNet++网络模型构建。基于PointNet++网络的体脂富积区分割与识别模型的架构主要有：set abstraction层、分割网络、分类网络。其中set abstraction层通过对原始点云采样、汇聚来建立以采样点为中心的局部区域，并提取局部点云结构特征。通过重复堆叠局部特征提取模块set abstraction，使得网络具有获取全局特征信息的能力；分割网络使用反卷积层对局部特征和全局特征进行融合，然后将稀疏采样点扩展到原始规模，通过多层感知机实现点云数据的分割；分类网络将分割后的点云子集传入两个全连接层实现类别判定。

最终使用获取的样本数据集对构建的PointNet++网络进行训练和测试，并调整参数以提高自动分割的准确率。PointNet++网络模型的构建过程和原理如图6所示。

6、构建体脂富积特定区域的三维结构特征。

奶牛皮下脂肪富积程度会影响其外在三维结构，因而需要构建能够客观描述皮下脂肪富积量(厚度)的三维结构特征描述子。通过分析不同富积区在不同脂肪厚度时的三维结构特点，构建基于点、线、面的多维度三维结构综合描述特征体系。主要包括点特征(表面法线、曲率)、局部特征(3D形状内容描述子、快速点特征直方图、RSD特征、SHOT特征)、全局特征(视点特征直方图、GFPFH)等。研究同一富积区各结构特征之间的相关性，计算结构特征的变异系数，采用逐步回归方法，逐个分析三维结构特征对于皮下脂肪厚度变化的显著性，筛选出每个体脂富积特定区域的代表性体表结构特征组合，最终确定的各个体脂富积特定区域的代表性体表结构特征个数为m。

例如，对于背，其代表性体表结构特征包括表面法线、3D形状内容描述子和RSD特征；对于髋角，其代表性体表结构特征包括曲率、快速点特征直方图、RSD特征和GFPFH；等等。需说明的是，这只是举例，具体每个体脂富积特定区域所对应的代表性体表结构特征包括哪些特征需要进行实验测算得到。

7、奶牛的个体因素。

个体因素包括体高、体重、泌乳期和胎次，总个数为n。这里的泌乳期分为泌乳前期、泌乳中期和泌乳后期，在进行模型构建时，可将泌乳前期、泌乳中期和泌乳后期量化为具体的数字进行处理，例如利用数字1表示泌乳前期，数字2表示泌乳中期，数字3表泌乳后期。

8、奶牛的时间参数。

时间参数为为泌乳天数(Day in milk，DIM)，按总泌乳期300天进行归一化，干奶期奶牛计为1。

9、构建体脂率评测模型。

采用BP神经网络构建体脂率评测模型。BP神经网络具有优秀的非线性回归能力，而且能够同时对多种不同属性的变量进行分析，因此能够用于多因素混合输入的奶牛体脂率直接评测。

构建模型之前，需要对数据集中的三维结构特征参数和体脂率进行归一化。构建的体脂率评测模型中，输入层神经元数量为m+n+1，m为三维结构特征参数的个数，n为个体因素的个数。输出值为一个0～1之间的小数，通过反归一化处理即可得到该奶牛的体脂率。每层神经元之间都是全连接模式。隐层和输出层的传递函数分别为tansig和purelin函数。使用误差反传算法对网络进行训练。该体脂率评测模型如图7所示。

在构建好体脂率评测模型后，便可对奶牛的体脂率进行无接触检测。

步骤二，对构建的“体脂率评测模型”进行模型鲁棒性测试与分析。

使用大量数据对模型进行大规模深度测试，参与测试的奶牛数量n≥1000头，模型构建过程中使用的奶牛均排除在外。使用体脂反演“金标准”(对应步骤一的实测体脂率)作为基准值，计算评测结果与基准值之间的平均误差、最大误差、误差变异系数等，研究误差的分布规律特点，对评测结果进行修正，降低平均误差。构建评测值与标准值之间的线性回归模型，对模型精度进行综合评价。对其中的100头奶牛进行为期2个月的连续评测(泌乳前后各一个月，每周评测一次)，验证评测模型对体脂含量快速变化的跟踪性能。横向对比不同奶牛的平均评测误差，研究模型对奶牛个体的鲁棒性。分析奶牛个体骨架结构差异对评测精度的影响程度，探明误差传递的机制，对体脂特征参数的提取过程进行优化。

步骤三，开发智能评测系统。

在上述奶牛体脂评测关键技术研究基础上，基于PCL库开发奶牛三维模型重构、体脂富积区自动定位、结构特征提取等可执行程序模块；结合多线程并行计算技术，提高深度学习模型的运算效率；搭建远程虚拟主机，采用云计算技术，降低牧场端计算机的运算量和硬件成本；最终集成开发支持多平台的奶牛体脂率无接触智能评测软件系统。

步骤四，利用开发的奶牛体脂无接触智能评测软件系统，对奶牛体脂率进行检测。具体过程如图8所示：

在奶牛经过如图4所示的挤奶厅出口通道时，利用深度相机采集的深度图像以及步骤一构建的“体脂率评测模型”，对奶牛的体脂率进行检测。具体过程如下：

1、深度相机中的深度传感器检测到有奶牛经过，触发三个深度相机对奶牛背腹部的体脂富积区域进行深度图像采集，并进行数据融合处理。

2、依据融合处理后的奶牛体表点云，利用步骤一的“2、奶牛三维模型重构”节内容，构建奶牛背腹部三维模型。

3、依据奶牛背腹部三维模型，利用构建的PointNet++网络模型，对奶牛的体脂富积特定区域进行自动定位。

4、提取各个体脂富积特定区域的代表性体表结构特征。

5、获取奶牛的体高、体重、泌乳期、胎次、以及泌乳天数。

6、将各个体脂富积特定区域的代表性体表结构特征、奶牛的体高、体重、泌乳期、胎次、以及泌乳天数均输入至奶牛体脂率评测模型中，最终得到奶牛的体脂率。

本发明利用奶牛背腹部的深度图像，以及构建的奶牛体脂率评测模型，对奶牛的体脂率进行无接触检测，提高了奶牛检测的准确性和效率。

Claims (4)

1.一种基于直接评测模型的奶牛体脂率检测方法，其特征在于，包括如下步骤：

1)采集被测奶牛背腹部的深度图像；

2)利用采集的深度图像，构建奶牛背腹部的三维模型；

3)根据奶牛背腹部的三维模型，定位对奶牛体脂率贡献较大的体脂富积特定区域；

4)提取各个体脂富积特定区域的代表性体表结构特征，所述代表性体表结构特征包括点特征、局部特征和全局特征中的至少一种；所述点特征包括表面法线和曲率中的至少一种，所述局部特征包括3D形状内容描述子、快速点特征直方图、RSD特征和SHOT特征中的至少一种，所述全局特征包括视点特征直方图和GFPFH中的至少一种；

5)获取被测奶牛的个体因素和时间参数；所述个体因素包括体高、体重、泌乳期和胎次中的至少一种，所述时间参数为泌乳天数；

6)将被测奶牛的各个体脂富积特定区域的代表性体表结构特征、个体因素和时间参数输入至构建的体脂率评测模型中，得到被测奶牛的体脂率；所述体脂率评测模型利用已测奶牛的各个体脂富积特定区域的代表性体表结构特征、个体因素和时间参数、以及对应的实测体脂率进行训练得到；所述体脂率评测模型为BP神经网络模型；所述体脂率评测模型输入层神经元数量为m+n+1，m为三维结构特征参数的个数，n为个体因素的个数，1为归一化的时间参数，输出值为一个0～1之间的小数，通过反归一化处理得到奶牛的体脂率；

所述实测体脂率采用以下方法得到：

对奶牛进行同位素试剂注射，测定奶牛的空体水量EBW和总体水量TBW；

根据下式，计算奶牛的体脂率：

BF＝BW-(TBW+EBP+EBA+GIDM+FEDM)

BFP＝BF/BW

其中，BW为奶牛体重；TBW为奶牛总体水量；EBP为体蛋白质含量，和体骨质量EBA与空体水量EBW呈比例关系；EBA为体骨质量；GIDM为胃肠容纳物干质量；FEDM为胚胎干物质量，未妊娠的奶牛为0。

2.根据权利要求1所述的基于直接评测模型的奶牛体脂率检测方法，其特征在于，所述BP神经网络的隐层的传递函数为tansig函数，所述BP神经网络的输出层的传递函数为purelin函数。

3.根据权利要求1或2所述的基于直接评测模型的奶牛体脂率检测方法，其特征在于，步骤3)中，利用构建的PointNet++网络模型，以根据奶牛背腹部的三维模型定位对奶牛体脂率贡献较大的体脂富积特定区域；所述PointNet++网络模型利用已测奶牛的背腹部的三维模型和已确定的体脂富积特定区域进行训练得到。

4.根据权利要求1或2所述的基于直接评测模型的奶牛体脂率检测方法，其特征在于，所述体脂富积特定区域包括背、髋角、臀角和骶角区域中的至少一个区域。

Images